甲骨文云OCI-实时流数据传输至自治数据库：快速、高效的数据处理

过去，企业期望他们的数据以批次形式到达，事后才可用于分析。但现在，人们使用生成实时可用数据的数字设备，许多机器和设备也自发地生成数据。实时接收的数据被称为流数据，因为它在生成时就流入。对实时数据流做出响应的企业具有竞争优势，能够立即预测客户需求，而不是事后才开发出关于他们的洞察。

架构

此架构展示了如何使用Oracle云基础设施服务连接器中心托管服务实现实时流数据。以下是一些实时数据流的用例：

• 分析：对于使用各种工具（如Data Dog和Splunk）进行额外数据处理和运行分析的组织，现在可以与支持第三方工具的集成实现。

• 归档数据：许多组织需要存储日志、指标和流消息以便合规和未来使用。Oracle云基础设施服务连接器中心帮助以长期经济方式存储此类数据。

• 日志通知：对于网站和数据库可靠性，您可以为某些错误（如500错误）设置警报和通知。这些警报可以与监控服务集成。

• 数据处理：设置Oracle函数的触发器，以便与服务连接器中心集成时对数据进行预处理。这使数据工程师更容易直接处理处理后的数据进行数据分析。

• 云资源变更通知：服务连接器中心可以集成发送电子邮件、PagerDuty、Slack、自定义Webhooks等通知。

• 对数据移动的全面可视性：服务连接器中心提供了一个目的地，管理员可以在此管理和监控数据。
以下图表展示了此参考架构。

24’-文章150：【OCI】甲骨文云OCI-实时流数据传输至自治数据库：快速、高效的数据处理

过去，企业期望他们的数据以批次形式到达，事后才可用于分析。但现在，人们使用生成实时可用数据的数字设备，许多机器和设备也自发地生成数据。实时接收的数据被称为流数据，因为它在生成时就流入。对实时数据流做出响应的企业具有竞争优势，能够立即预测客户需求，而不是事后才开发出关于他们的洞察。

架构

此架构展示了如何使用Oracle云基础设施服务连接器中心托管服务实现实时流数据。以下是一些实时数据流的用例：

• 分析：对于使用各种工具（如Data Dog和Splunk）进行额外数据处理和运行分析的组织，现在可以与支持第三方工具的集成实现。

• 归档数据：许多组织需要存储日志、指标和流消息以便合规和未来使用。Oracle云基础设施服务连接器中心帮助以长期经济方式存储此类数据。

• 日志通知：对于网站和数据库可靠性，您可以为某些错误（如500错误）设置警报和通知。这些警报可以与监控服务集成。

• 数据处理：设置Oracle函数的触发器，以便与服务连接器中心集成时对数据进行预处理。这使数据工程师更容易直接处理处理后的数据进行数据分析。

• 云资源变更通知：服务连接器中心可以集成发送电子邮件、PagerDuty、Slack、自定义Webhooks等通知。

• 对数据移动的全面可视性：服务连接器中心提供了一个目的地，管理员可以在此管理和监控数据。
以下图表展示了此参考架构。

该架构包含以下组件：

区域

• Oracle云基础设施区域是一个地理区域，包含一个或多个数据中心，称为可用性域。区域彼此独立，相距遥远（跨国家甚至跨洲）。

可用性域

• 可用性域是区域内独立的数据中心。每个可用性域中的物理资源与其他可用性域中的资源隔离，从而提供容错能力。可用性域不共享基础设施，如电力或冷却，或内部可用性域网络。因此，一个可用性域的故障不太可能影响该地区的其他可用性域。

动态路由网关（DRG）

• DRG是一个虚拟路由器，为VCN和区域外网络（如另一个Oracle云基础设施区域中的VCN、本地网络或其他云提供商的网络）之间的私有网络流量提供路径。

服务网关

• 服务网关提供从VCN到其他服务（如Oracle云基础设施对象存储）的访问。来自VCN的流量通过Oracle网络基础设施传输，而不穿越互联网。

虚拟云网络（VCN）和子网

• VCN是您在Oracle云基础设施区域设置的可定制、软件定义的网络。与传统数据中心网络一样，VCN为您提供完全控制网络环境的能力。VCN可以有多个不重叠的CIDR块，您可以在创建VCN后更改它们。您可以将VCN划分为子网，这些子网可以在区域或可用性域内划分。每个子网由不与VCN中其他子网重叠的连续地址范围组成。您可以在创建后更改子网的大小。子网可以是公共的或私有的。

服务连接器

• Oracle云基础设施服务连接器中心是一个云消息总线平台，协调OCI中服务之间的数据移动。您可以使用它在Oracle云基础设施中的服务之间移动数据。数据是通过服务连接器移动的。服务连接器指定包含要移动数据的源服务、要对数据执行的任务以及数据完成指定任务后必须交付的目标服务。

• 您可以使用Oracle云基础设施服务连接器中心快速构建SIEM系统的日志聚合框架。可选任务可能是一个函数任务，用于处理源中的数据，或一个日志过滤任务，用于从源中过滤日志数据。

流媒体

• Oracle云基础设施流媒体提供了一个完全托管的、可扩展的、持久的存储解决方案，用于摄取连续的、高容量的数据流，您可以实时消费和处理这些数据。您可以使用流媒体来摄取高容量数据，如应用程序日志、运营遥测、网页点击流数据；或用于其他数据持续和按顺序在发布-订阅消息模型中产生和处理的用例。

函数

• Oracle函数是一个完全托管的、多租户的、高度可扩展的、按需的函数即服务（FaaS）平台。它由Fn项目开源引擎驱动。函数使您能够部署代码，并直接调用它或响应事件触发它。Oracle函数使用托管在Oracle云基础设施注册表中的Docker容器。

自治数据库

• Oracle云基础设施自治数据库是完全托管的、预配置的数据库环境，可用于事务处理和数据仓库工作负载。您无需配置或管理任何硬件，也无需安装任何软件。Oracle云基础设施负责创建数据库，以及备份、打补丁、升级和调优数据库。

身份和访问管理（IAM）

• Oracle云基础设施身份和访问管理（IAM）使您能够控制谁可以访问您在Oracle云基础设施中的资源以及他们可以对这些资源执行的操作。

审计服务

• 审计日志：与审计服务发出的事件相关的日志。

• 服务日志：由单个服务发出的日志，如API网关、事件、函数、负载均衡、对象存储和VCN流量日志。

• 自定义日志：来自自定义应用程序、其他云提供商或本地环境的诊断信息日志。

建议

使用以下建议作为起点。您的需求可能与此处描述的架构不同。

VCN

• 当您创建VCN时，根据您计划附加到VCN子网中的资源数量确定所需的CIDR块数量和每个块的大小。使用标准私有IP地址空间内的CIDR块。

• 选择与您打算建立私有连接的任何其他网络（在Oracle云基础设施、您的本地数据中心或其他云提供商）不重叠的CIDR块。

• 创建VCN后，您可以更改、添加和移除其CIDR块。

• 当您设计子网时，考虑您的流量和安全需求。将特定层或角色内的所有资源附加到同一个子网，这可以作为一个安全边界。

Cloud Guard

• 克隆并自定义Oracle提供的默认配方，创建自定义的检测器和响应器配方。这些配方使您能够指定哪种类型的安全违规会生成警告，以及允许对其执行的操作。例如，您可能想要检测设置为公开可见的对象存储桶。

• 在租户级别应用Cloud Guard，以覆盖最广泛的范围，并减少维护多个配置的管理负担。

• 您还可以使用管理列表功能将某些配置应用到检测器。

安全区域

• 对于需要最大安全性的资源，Oracle建议您使用安全区域。安全区域是与Oracle定义的基于最佳实践的安全策略配方相关联的分区。例如，安全区域中的资源不得从公共互联网访问，且必须使用客户管理的密钥加密。在安全区域中创建和更新资源时，Oracle云基础设施会根据安全区域配方中的策略验证操作，并拒绝违反任何策略的操作。

CIS OCI登陆区快速启动模板

• 此模板在Oracle云基础设施（OCI）租户中部署标准化环境，帮助组织遵守CIS OCI基础设施基准v1.1。

开启您的Oracle云之旅：Agilewing - 您的智能云服务伙伴

作为Oracle的高级合作伙伴，Agilewing正重新定义企业体验Oracle云服务的方式。借助于其简化的开户流程和一流的技术支持，Agilewing将复杂的开户和操作流程转化为一种轻松、直观的体验。通过我们的一站式服务，您可以迅速开启并享受Oracle云的全方位服务，从而无缝融入云端世界。

Agilewing的AgileCDN服务，结合了OCI的云基础服务，提供了一流的全球内容加速解决方案。超过2800个全球POP节点和7000个直连点的强大网络，确保了无论您的业务扩展到全球哪个角落，都能保持高效稳定的运行。

利用Oracle云的先进技术，Agilewing致力于简化云服务搭建、云迁移和业务出海的过程。我们的合作模式为客户带来经济高效的解决方案，使他们能够更加专注于核心业务，同时享受Oracle云的高性能和安全保障。

Oracle云服务，作为一个充满潜力的领域，以其高性能、安全性和全球统一的服务标准，为各类企业开启了新的机遇之门。通过Agilewing的专业服务，无论是个人用户还是企业，都能轻松步入这个充满技术革新和高效能的新时代。现在，就让Agilewing引领您开始探索Oracle云服务，打开一个全新的世界大门

该架构包含以下组件：

区域

• Oracle云基础设施区域是一个地理区域，包含一个或多个数据中心，称为可用性域。区域彼此独立，相距遥远（跨国家甚至跨洲）。

可用性域

• 可用性域是区域内独立的数据中心。每个可用性域中的物理资源与其他可用性域中的资源隔离，从而提供容错能力。可用性域不共享基础设施，如电力或冷却，或内部可用性域网络。因此，一个可用性域的故障不太可能影响该地区的其他可用性域。

动态路由网关（DRG）

• DRG是一个虚拟路由器，为VCN和区域外网络（如另一个Oracle云基础设施区域中的VCN、本地网络或其他云提供商的网络）之间的私有网络流量提供路径。

服务网关

• 服务网关提供从VCN到其他服务（如Oracle云基础设施对象存储）的访问。来自VCN的流量通过Oracle网络基础设施传输，而不穿越互联网。

虚拟云网络（VCN）和子网

• VCN是您在Oracle云基础设施区域设置的可定制、软件定义的网络。与传统数据中心网络一样，VCN为您提供完全控制网络环境的能力。VCN可以有多个不重叠的CIDR块，您可以在创建VCN后更改它们。您可以将VCN划分为子网，这些子网可以在区域或可用性域内划分。每个子网由不与VCN中其他子网重叠的连续地址范围组成。您可以在创建后更改子网的大小。子网可以是公共的或私有的。

服务连接器

• Oracle云基础设施服务连接器中心是一个云消息总线平台，协调OCI中服务之间的数据移动。您可以使用它在Oracle云基础设施中的服务之间移动数据。数据是通过服务连接器移动的。服务连接器指定包含要移动数据的源服务、要对数据执行的任务以及数据完成指定任务后必须交付的目标服务。

• 您可以使用Oracle云基础设施服务连接器中心快速构建SIEM系统的日志聚合框架。可选任务可能是一个函数任务，用于处理源中的数据，或一个日志过滤任务，用于从源中过滤日志数据。

流媒体

• Oracle云基础设施流媒体提供了一个完全托管的、可扩展的、持久的存储解决方案，用于摄取连续的、高容量的数据流，您可以实时消费和处理这些数据。您可以使用流媒体来摄取高容量数据，如应用程序日志、运营遥测、网页点击流数据；或用于其他数据持续和按顺序在发布-订阅消息模型中产生和处理的用例。

函数

• Oracle函数是一个完全托管的、多租户的、高度可扩展的、按需的函数即服务（FaaS）平台。它由Fn项目开源引擎驱动。函数使您能够部署代码，并直接调用它或响应事件触发它。Oracle函数使用托管在Oracle云基础设施注册表中的Docker容器。

自治数据库

• Oracle云基础设施自治数据库是完全托管的、预配置的数据库环境，可用于事务处理和数据仓库工作负载。您无需配置或管理任何硬件，也无需安装任何软件。Oracle云基础设施负责创建数据库，以及备份、打补丁、升级和调优数据库。

身份和访问管理（IAM）

• Oracle云基础设施身份和访问管理（IAM）使您能够控制谁可以访问您在Oracle云基础设施中的资源以及他们可以对这些资源执行的操作。

审计服务

• 审计日志：与审计服务发出的事件相关的日志。

• 服务日志：由单个服务发出的日志，如API网关、事件、函数、负载均衡、对象存储和VCN流量日志。

• 自定义日志：来自自定义应用程序、其他云提供商或本地环境的诊断信息日志。

建议

使用以下建议作为起点。您的需求可能与此处描述的架构不同。

VCN

• 当您创建VCN时，根据您计划附加到VCN子网中的资源数量确定所需的CIDR块数量和每个块的大小。使用标准私有IP地址空间内的CIDR块。

• 选择与您打算建立私有连接的任何其他网络（在Oracle云基础设施、您的本地数据中心或其他云提供商）不重叠的CIDR块。

• 创建VCN后，您可以更改、添加和移除其CIDR块。

• 当您设计子网时，考虑您的流量和安全需求。将特定层或角色内的所有资源附加到同一个子网，这可以作为一个安全边界。

Cloud Guard

• 克隆并自定义Oracle提供的默认配方，创建自定义的检测器和响应器配方。这些配方使您能够指定哪种类型的安全违规会生成警告，以及允许对其执行的操作。例如，您可能想要检测设置为公开可见的对象存储桶。

• 在租户级别应用Cloud Guard，以覆盖最广泛的范围，并减少维护多个配置的管理负担。

• 您还可以使用管理列表功能将某些配置应用到检测器。

安全区域

• 对于需要最大安全性的资源，Oracle建议您使用安全区域。安全区域是与Oracle定义的基于最佳实践的安全策略配方相关联的分区。例如，安全区域中的资源不得从公共互联网访问，且必须使用客户管理的密钥加密。在安全区域中创建和更新资源时，Oracle云基础设施会根据安全区域配方中的策略验证操作，并拒绝违反任何策略的操作。

CIS OCI登陆区快速启动模板

• 此模板在Oracle云基础设施（OCI）租户中部署标准化环境，帮助组织遵守CIS OCI基础设施基准v1.1。

开启您的Oracle云之旅：Agilewing - 您的智能云服务伙伴

作为Oracle的高级合作伙伴，Agilewing正重新定义企业体验Oracle云服务的方式。借助于其简化的开户流程和一流的技术支持，Agilewing将复杂的开户和操作流程转化为一种轻松、直观的体验。通过我们的一站式服务，您可以迅速开启并享受Oracle云的全方位服务，从而无缝融入云端世界。

Agilewing的AgileCDN服务，结合了OCI的云基础服务，提供了一流的全球内容加速解决方案。超过2800个全球POP节点和7000个直连点的强大网络，确保了无论您的业务扩展到全球哪个角落，都能保持高效稳定的运行。

利用Oracle云的先进技术，Agilewing致力于简化云服务搭建、云迁移和业务出海的过程。我们的合作模式为客户带来经济高效的解决方案，使他们能够更加专注于核心业务，同时享受Oracle云的高性能和安全保障。

Oracle云服务，作为一个充满潜力的领域，以其高性能、安全性和全球统一的服务标准，为各类企业开启了新的机遇之门。通过Agilewing的专业服务，无论是个人用户还是企业，都能轻松步入这个充满技术革新和高效能的新时代。现在，就让Agilewing引领您开始探索Oracle云服务，打开一个全新的世界大门