在这个数字化的时代，我们都面临着数据管理的挑战。想象一下，你的企业数据散落在各处，部分还停留在传统的本地数据存储中，而另一部分已经迈向云端。现在，有了Oracle Cloud Infrastructure Data Integration（OCI Data Integration）服务，这一切都变得简单而直接。
这项服务不仅为你提供了一个安全、可扩展的数据处理方案，从外部数据源到Oracle Autonomous Data Warehouse数据存储，更是一种转型的开始。无论是已存在的本地数据，还是分布在其他云上的资源，OCI Data Integration都能通过OCI的网络和数据存储连接，安全高效地扩展它们的功能。
架构设计
在我们的架构设计中，你可以看到不同组件如何协同工作，共同构建这一场景。
对于采用多云策略的企业来说，他们可能会遇到其他云服务提供商的技术和数据服务。在这里，OCI提供了连接到其他云提供商的架构参考，这就像是在不同的云之间架设了一座桥梁。
本地数据存储的形式多种多样，从文件中存储的数据到ERP中的流程驱动数据集，它们的多样性为数据处理带来了挑战。但在我们的架构中，这一切都将被有效整合。
下面这幅图展示了我们的参考架构和数据的流动路径。通过这幅图，你可以清晰地看到数据是如何从原始位置转移到云端的，而这一过程，正是我们OCI Data Integration服务的核心。
让我们一起走进数据转化的旅程，看看如何将原始数据转化为有价值的信息，安全地存储在云端。
- 数据摄入：通过Oracle Cloud Infrastructure FastConnect或站点到站点VPN，我们可以利用OCI Data Integration数据资产连接器，从本地数据源摄入数据。
- 多云数据集成：同样地，OCI数据资产连接器还能够访问并提取存储在其他云上的数据集，例如第三方云服务和应用程序。在无法直接通过数据资产连接器访问时，数据也可以以批量文件的形式上传到Oracle Cloud Infrastructure对象存储桶中。Oracle针对包括微软Azure、亚马逊Web服务和谷歌云平台在内的其他云服务提供商开发了特定的云连接解决方案。通过NAT网关，我们确保了只允许向互联网的出站流量，从而在不同云之间安全地传输数据。
- 数据处理和安全：一旦数据被摄入OCI网络，它将在专有的虚拟云网络（VCN）上进行处理，这些网络可以进一步从互联网访问中隔离出来。数据集成服务（OCI Data Integration）通过无代码界面的数据流程执行多种转换，同时OCI数据目录服务进行目录编制，提供数据血统。Oracle Data Safe负责评估数据库安全姿态，识别和分类风险，最终掩盖敏感信息。此外，OCI Vault作为另一个数据和信息安全资源，提供用于存储和管理密钥和机密信息的服务，简化了数据安全的整体过程。
- 数据丰富和协同作业：在OCI Data Integration管道和数据流程内部丰富数据资产的同时，REST操作员还可以安全地访问其他OCI服务。例如，OCI数据集成协调可以调用数据科学中的笔记本进行机器学习，或查询人工智能服务以增强数据的预测或异常检测。所有的协同管理，如监控、日志记录和通知，都通过相同的机制集成在一起。
- 数据写入和分析：OCI数据集成可以写入OCI内部或本地的任何Oracle存储，以及OCI数据湖和MySQL组合。分析工具立即利用目标存储，提供数据可视化、业务建模和像素级完美的报告。
- 访问控制：数据的消费者、生产者和开发者都在细粒度的策略下，安全地组织数据和资源访问控制。
接下来的架构图进一步详细描述了实施方案，包括建议的网络子网分隔。
- 理逐步将数据转移到OCI环境中。同样，其他OCI服务也可以被调用来进一步丰富和精炼数据集。
- 批量处理：它能转换来自源系统的大规模数据集，利用OCI原生服务无缝整合OCI对象存储，帮助你创建用于数据聚合、丰富、数据仓库摄入以及大规模机器学习和AI数据使用的精炼数据。
- 全托管和无服务器服务：OCI数据集成是一项全托管、无服务器的云原生服务，能够从各种数据源提取、加载、转换、清洗和重塑数据，将其转移到目标Oracle Cloud Infrastructure服务，如Autonomous Data Warehouse和OCI对象存储。
- 数据流协调：OCI数据集成不仅协调处理数据流程中的依赖关系，还与Oracle Cloud Infrastructure的其他服务协同工作，例如OCI人工智能和Oracle机器学习，用于数据丰富或进一步分类，以及Data Safe用于数据安全和合规。细粒度控制的策略维护了服务间的认证和授权。
- 应用模板：OCI数据集成应用模板提供了一系列立即可用的OCI数据集成任务（REST（API）、SQL、集成（数据流）和管道）。这些任务都是全参数化的，可以直接使用。任务还可以保存到新的项目和文件夹中，允许设计被修改以适应更多的实施细节。
让我们深入了解构成这一架构的关键组件：
区域（Region）：
Oracle Cloud Infrastructure区域是一个地理位置局部化的区域，包含一个或多个称为可用性域的数据中心。各个区域相互独立，可能相隔遥远的距离（跨越国家甚至大洲）。
虚拟云网络（VCN）和子网：
VCN是您在Oracle Cloud Infrastructure区域中设置的可自定义的软件定义网络。就像传统数据中心网络一样，VCN让您完全控制您的网络环境。VCN可以拥有多个不重叠的CIDR块，您可以在创建VCN后更改这些块。您可以将VCN分割成子网，这些子网可以限定在一个区域或一个可用性域。每个子网包含一连串不与VCN中其他子网重叠的地址。创建后，您可以更改子网的大小。子网可以是公共的或私有的。
数据集成：
Oracle Cloud Infrastructure数据集成是一项全托管、多租户、无服务器的原生云服务，帮助您执行常见的ETL任务，如从不同源摄入数据、清洁、转换和重塑数据，以及高效地将其加载到OCI上的目标数据源。
对象存储：
对象存储提供对大量结构化和非结构化数据的快速访问，包括数据库备份、分析数据以及图像和视频等丰富内容。您可以安全、便捷地存储数据，然后直接从互联网或云平台内检索数据。您可以无缝地扩展存储，而不会影响性能或服务可靠性。标准存储用于您需要快速、即时且频繁访问的“热”存储。归档存储用于您长期保留且很少或几乎不访问的“冷”存储。
数据科学：
Oracle Cloud Infrastructure数据科学是一个全托管、无服务器的平台，数据科学团队可以使用它在Oracle Cloud Infrastructure (OCI)上构建、训练和管理机器学习(ML)模型。它可以轻松地与其他OCI服务（如Oracle Autonomous Data Warehouse、Oracle Cloud Infrastructure对象存储等）集成。
Oracle机器学习：
Oracle机器学习提供了在数据库中构建、训练和部署模型的功能。它提供了一个Zeppelin笔记本界面，让数据科学家可以使用OML4Py Python客户端库训练模型。Oracle机器学习还提供了一个无代码的模型训练方法，即AutoML UI。模型可以通过Oracle机器学习服务以REST API的形式部署，但对开源软件的支持有限。
AI服务：
Oracle Cloud Infrastructure的AI服务提供了一系列预训练和可定制的模型API，涵盖了语言、视觉、语音、决策和预测等多个用例。AI服务通过REST API端点提供模型预测。这些服务提供了最先进的预训练模型，在使用服务1-6训练自定义机器学习模型之前应予以考虑和评估。另外，Oracle机器学习服务还提供了一系列预训练的语言（主题、关键词、摘要、相似性）和视觉模型。
数据安全（Data Safe）：
Oracle Data Safe是一个全面集成的区域性云服务，专注于保护Oracle数据库中的敏感和受管制数据。Data Safe还支持本地数据库、Oracle Exadata Database Service on Cloud@Customer和多云部署。所有Oracle数据库客户都可以通过使用Oracle Data Safe来评估配置和用户风险、监控和审计用户活动，以及发现、分类和掩盖敏感数据，从而降低数据泄露的风险并简化合规性。
自治数据仓库（Autonomous Data Warehouse）：
Oracle Autonomous Data Warehouse是一种自驾、自保护、自修复的数据库服务，专为数据仓库工作负载优化。您无需配置或管理任何硬件，或安装任何软件。Oracle Cloud Infrastructure负责创建数据库，以及备份、修补、升级和调优数据库。
以下建议可以作为您的起点。您的需求可能与这里描述的架构有所不同。
VCN
- 在创建VCN时，根据您计划附加到VCN子网中的资源数量，确定所需的CIDR块数量及每个块的大小。使用标准私有IP地址空间内的CIDR块。
- 选择不与任何您打算建立私有连接的其他网络（在Oracle Cloud Infrastructure、您的本地数据中心或其他云提供商）重叠的CIDR块。
- 创建VCN后，您可以更改、添加和移除其CIDR块。
- 在设计子网时，考虑您的流量流动和安全需求。将特定层或角色内的所有资源附加到同一子网，可以作为安全边界。
OCI数据集成模板建议
- 使用或重用模板任务可以轻松自动化许多日常管理任务。此外，模板通过提供一套专为数据工程师设计的任务，扩展了OCI数据集成的数据处理和管理能力。使用模板调用其他OCI服务的案例，如Oracle Cloud Infrastructure AI服务进行文档分类、Oracle Data Safe进行内容掩盖以及控制和报告到Autonomous Data Warehouse的增量提要，都是简化OCI数据集成使用的模板构建块。
目前可用的模板列表包括：
- Oracle对象存储管理：具有用于对象存储的REST任务的应用程序，以复制、删除、重命名对象以及创建和删除桶。
- Oracle视觉图像：具有执行OCI视觉图像分析的REST任务的应用程序。任务包括图像分类、对象检测和图像文字检测。
- Oracle视觉文档：具有执行OCI视觉文档AI的REST任务的应用程序。任务包括文档分类、文档键值检测、文档语言分类、文档表格检测和文档文本检测。
- Oracle DataSafe掩码：具有参数化任务的应用程序，用于从目标Oracle数据库模式生成Oracle Data Safe敏感模型和掩码。
- 从Oracle对象存储加载文件到ADW：具有将不同文件类型从OCI对象存储加载到Autonomous Data Warehouse的任务的应用程序：JSON、Parquet、CSV、Avro。
- Oracle数据库到Autonomous Data Warehouse增量加载（客户管理）：应用程序允许基于并报告上次执行的增量任务在Autonomous Data Warehouse目标模式中存储的元数据表中运行。
- Oracle Fusion应用使用Oracle商业智能发布者（BIP）到ADW增量加载：应用程序允许Oracle Fusion应用使用Oracle商业智能发布者（BIP）报告运行基于并报告上次执行的提取，在Autonomous Data Warehouse目标模式中存储的元数据表中。
实施考虑
在收集、处理和整理应用数据进行分析和机器学习时，请考虑以下实施选项。
数据处理
- Oracle Cloud Infrastructure数据集成提供了一个云原生、无服务器、全托管的ETL平台，具有可扩展性和成本效益。
- Oracle Cloud Infrastructure数据流提供了一个无服务器的Spark环境，以按使用付费、极度弹性的模型处理大规模数据。
- Oracle Cloud Infrastructure大数据服务提供企业级的Hadoop即服务，具有端到端安全性、高性能以及易于管理和升级。
数据持久化
- Oracle自治数据仓库是一种易于使用的、完全自治的数据库，具有弹性扩展、快速查询性能，并且无需数据库管理。它还提供了从对象存储的外部或混合分区表直接访问数据的功能。
- Oracle Cloud Infrastructure对象存储可以以原始格式存储无限量的数据。
数据精炼
- Oracle Cloud Infrastructure数据集成提供了一个云原生、无服务器、全托管的ETL平台，具有可扩展性和成本效率。
部署
- 这一参考架构的Terraform代码可在GitHub上获得。访问GitHub。克隆或下载仓库到您的本地计算机。按照README文档中的说明进行操作。
开启您的Oracle云之旅：Agilewing - 您的智能云服务伙伴
作为Oracle的高级合作伙伴，Agilewing正重新定义企业体验Oracle云服务的方式。借助于其简化的开户流程和一流的技术支持，Agilewing将复杂的开户和操作流程转化为一种轻松、直观的体验。通过我们的一站式服务，您可以迅速开启并享受Oracle云的全方位服务，从而无缝融入云端世界。
Agilewing的AgileCDN服务，结合了OCI的云基础服务，提供了一流的全球内容加速解决方案。超过2800个全球POP节点和7000个直连点的强大网络，确保了无论您的业务扩展到全球哪个角落，都能保持高效稳定的运行。
利用Oracle云的先进技术，Agilewing致力于简化云服务搭建、云迁移和业务出海的过程。我们的合作模式为客户带来经济高效的解决方案，使他们能够更加专注于核心业务，同时享受Oracle云的高性能和安全保障。
Oracle云服务，作为一个充满潜力的领域，以其高性能、安全性和全球统一的服务标准，为各类企业开启了新的机遇之门。通过Agilewing的专业服务，无论是个人用户还是企业，都能轻松步入这个充满技术革新和高效能的新时代。现在，就让Agilewing引领您开始探索Oracle云服务，打开一个全新的世界大门。
如您想咨询 Oracle 的相关业务，可联系搜索微信号：lhh1843812463 或 woshiwhw123
或者可以进入以下群组进行咨询：
微信公众号
微信技术交流社群：
