利用甲骨文云OCI数据集成和甲骨文集成云服务高效处理大数据：云端数据管理的强大解决方案

处理或整合来自外部来源的大量数据到目标系统或应用程序。

考虑这种情况：您从外部来源（例如，客户、供应商、员工、产品等）接收大量数据。在数据到达最终系统或应用程序之前，需要对其进行编排、丰富、组合或组织。作为完成这一流程的一部分，您需要与两个或更多中间应用程序或服务进行整合，或对数据应用复杂的转换。这个过程可能在与各种第三方应用程序（基于REST、SOAP等）进行调用或编排后，为数据添加额外的属性。这些交易数据也可能需要复杂的转换（JSON或XML）、查找或交叉引用。

这种情况可以通过两种云服务轻松实现：OCI数据集成（OCI DI）和甲骨文集成云（OIC），其中OCI DI满足您所有的数据集成或“提取、转换、加载”（ETL）需求，OIC满足您所有的应用程序集成或企业级连接需求，无论您连接的是什么应用程序或它们位于何处。

架构

这一参考架构代表了使用OCI DI和OIC服务处理大量数据的用例。

这一参考架构还解决了在OIC中通过OCI DI处理Apache Parquet、Apache Avro和Microsoft Excel文件的挑战。例如，处理财务报告数据（如应付账款、应收账款、总账、现金流、资产和负债、收入等），OCI DI将这些文件格式转换为逗号分隔值（CSV）文件，然后由OIC处理。

下图展示了这一参考架构。

以下是上述参考架构中展示的步骤说明：

1.外部来源（例如，自定义应用程序、非甲骨文应用程序、在第三方云上运行的甲骨文数据库、第三方云服务、本地数据库和应用程序）将大量数据加载文件上传或投放到OCI对象存储桶中。

2.OCI可观测性与管理服务 - OCI事件服务查找上传到OCI对象存储桶中的对象或文件。

3.OCI事件服务触发一个动作来调用OCI函数，提供桶和文件名。

4.OCI函数接收事件并使用输入参数：桶名和文件名，调用OCI DI管道。

5.OCI DI管道从OCI对象存储桶读取大量数据加载文件，并将单个大数据文件拆分为多个较小的文件。然后，它将拆分的文件上传到OCI对象存储桶。

6.另一个OCI事件服务实例查找上传到OCI对象存储桶中的拆分文件。

7.OCI事件服务触发一个动作来调用OCI函数，提供桶名和每个文件名。

8.OCI函数接收事件并使用输入参数：桶名和每个文件名，调用OIC集成流程。

9.OIC集成从OCI对象存储桶读取每个文件。

10.OIC集成根据需求，通过调用一个或多个中间应用程序或系统来编排和丰富数据。然后执行复杂的转换、查找、交叉引用等，并最终将数据处理到下游系统或应用程序。

该架构包含以下组件：

地区

甲骨文云基础设施（OCI）地区是一个地理区域，包含一个或多个数据中心，称为可用性域。地区彼此独立，相隔很远（跨国甚至跨洲）。

数据集成

OCI数据集成是一个完全托管的、多租户服务，帮助数据工程师和“提取、转换、加载”（ETL）开发人员处理常见的ETL任务，如从多种数据资产中提取数据；清洗、转换和重塑数据；以及高效地将其加载到目标数据资产中。

甲骨文集成云

使用甲骨文集成云，您可以整合云端和本地应用程序，自动化业务流程，了解业务流程，开发可视化应用程序，使用符合SFTP的文件服务器来存储和检索文件，以及与B2B交易伙伴交换业务文件。

事件

OCI事件服务使用符合云原生计算基金会（CNCF）CloudEvents标准的事件来跟踪资源变化。开发人员可以通过使用函数触发代码、写入流媒体或使用通知发送警报来实时响应变化。

函数

OCI函数是一个无服务器平台，让开发人员在不管理任何基础设施的情况下创建、运行和扩展应用程序。函数与OCI、平台服务和SaaS应用程序集成。因为函数基于开源Fn项目，开发人员可以创建可轻松移植到其他云和本地环境的应用程序。基于函数的代码通常运行时间较短，客户只需为他们使用的资源付费。

虚拟云网络（VCN）和子网

VCN是您在甲骨文云基础设施地区设置的可定制、软件定义的网络。像传统数据中心网络一样，VCN让您完全控制您的网络环境。VCN可以有多个不重叠的CIDR块，您可以在创建VCN后更改这些块。您可以将VCN划分为子网，这些子网可以限定在一个地区或一个可用性域。每个子网包含一个连续的地址范围，不与VCN中的其他子网重叠。您可以在创建后更改子网的大小。子网可以是公共的或私有的。

安全列表

对于每个子网，您可以创建安全规则，指定子网内外必须允许的来源、目的地和流量类型。

路由表

虚拟路由表包含将子网流量路由到VCN外部目的地的规则，通常通过网关。

开启您的Oracle云之旅：Agilewing - 您的智能云服务伙伴

作为Oracle的高级合作伙伴，Agilewing正重新定义企业体验Oracle云服务的方式。借助于其简化的开户流程和一流的技术支持，Agilewing将复杂的开户和操作流程转化为一种轻松、直观的体验。通过我们的一站式服务，您可以迅速开启并享受Oracle云的全方位服务，从而无缝融入云端世界。

Agilewing的AgileCDN服务，结合了OCI的云基础服务，提供了一流的全球内容加速解决方案。超过2800个全球POP节点和7000个直连点的强大网络，确保了无论您的业务扩展到全球哪个角落，都能保持高效稳定的运行。

利用Oracle云的先进技术，Agilewing致力于简化云服务搭建、云迁移和业务出海的过程。我们的合作模式为客户带来经济高效的解决方案，使他们能够更加专注于核心业务，同时享受Oracle云的高性能和安全保障。

Oracle云服务，作为一个充满潜力的领域，以其高性能、安全性和全球统一的服务标准，为各类企业开启了新的机遇之门。通过Agilewing的专业服务，无论是个人用户还是企业，都能轻松步入这个充满技术革新和高效能的新时代。现在，就让Agilewing引领您开始探索Oracle云服务，打开一个全新的世界大门。

如您想咨询 Oracle 的相关业务，可联系搜索微信号：lhh1843812463 或 woshiwhw123

或者可以进入以下群组进行咨询：

微信公众号

微信技术交流社群：