欢迎访问深圳敏捷云计算科技有限公司!

甲骨文云跨区域实施实时多云数据分析架构:解锁全球数据洞察的秘密

2024-01-15 原创文章

在云计算领域,组织通常希望利用现有的分析平台来满足其所有数据分析需求。这种多云解决方案展示了一个以客户为灵感的数据分析架构,其中Oracle E-Business Suite应用部署在美国的Oracle Cloud Infrastructure(OCI)上,而Oracle E-Business Suite的数据则实时复制到欧洲的Microsoft Azure,用于Azure Synapse分析。分析工具和数据源通过专用私有网络连接,以提供低延迟和高带宽的数据复制。Oracle Cloud Infrastructure GoldenGate(OCI GoldenGate)用于数据复制。通过多云数据分析解决方案满足客户需求,具体包括:

  • 将本地Oracle数据库迁移到提供最大数据库正常运行时间、性能、可伸缩性、安全性和生产力优势的Oracle Base Database服务。
  • 将分析堆栈保留在Microsoft Azure中,因此无需对下游用户进行任何重大配置/集成更改。
  • 使用OCI GoldenGate实时复制Oracle数据库到Azure Data Lake Gen2和Azure Synapse的变更数据。

架构

此参考架构展示了如何在Microsoft Azure区域的数据分析工具和远程OCI区域的数据资源之间实现私有低延迟连接。

FastConnect合作伙伴连接Azure ExpressRoute和Oracle Cloud Infrastructure FastConnect,以连接两个远程云网络。Microsoft Azure的虚拟网络(VNet)流量通过私有互连到OCI的虚拟云网络(VCN)。Oracle E-Business Suite生产数据库部署在Oracle Base Database Service上,作为一个例子。该解决方案也适用于作为后端数据库的Oracle Autonomous Database和Exadata Database Service。由于源是Oracle Database,目标是Azure Synapse/Azure Data Lake Storage Gen2,因此OCI GoldenGate复制部署在一个单独的子网中,包括以下两个部署:

  1. 用于从Oracle E-Business Suite数据库捕获数据的Oracle部署。
  2. 用于将从Oracle E-Business Suite数据库捕获的数据应用到Azure Synapse的大数据部署。

OCI GoldenGate从Oracle数据库捕获数据,并通过FastConnect实时复制该数据到Azure Data Lake Gen2和Azure Synapse。OCI GoldenGate复制到Synapse使用阶段和合并数据流。更改数据在微批次中暂存于临时位置,即Azure Data Lake Storage Gen2,最终合并到Synapse目标表中。以下图表说明了这一参考架构。


该架构包括以下组件:

Oracle Cloud Infrastructure组件

自动事务处理:Oracle Autonomous Transaction Processing是一种自驾、自保护、自修复的数据库服务,专为事务处理工作负载优化。您无需配置或管理任何硬件,也无需安装任何软件。Oracle Cloud Infrastructure负责创建数据库,以及数据库的备份、打补丁、升级和调优。

FastConnect:Oracle Cloud Infrastructure FastConnect提供了一种简单的方法,用于在您的数据中心和Oracle Cloud Infrastructure之间创建专用、私有连接。与基于互联网的连接相比,FastConnect提供了更高带宽选项和更可靠的网络体验。

可用性域:可用性域是区域内独立、独立的数据中心。每个可用性域中的物理资源与其他可用性域的资源隔离,提供了容错能力。可用性域不共享基础设施,如电力或冷却,或内部可用性域网络。因此,一个可用性域的故障不太可能影响该区域内的其他可用性域。

虚拟云网络(VCN)和子网:VCN是您在Oracle Cloud Infrastructure区域中设置的可定制的、软件定义的网络。与传统数据中心网络一样,VCN使您完全控制您的网络环境。VCN可以拥有多个不重叠的CIDR块,您可以在创建VCN后更改这些块。您可以将VCN划分为子网,这些子网可以限定在一个区域或一个可用性域。每个子网由一系列不与VCN中其他子网重叠的地址组成。您可以在创建后更改子网的大小。子网可以是公共的或私有的。

安全列表:对于每个子网,您可以创建安全规则,指定必须允许进出子网的流量的来源、目的地和类型。

路由表:虚拟路由表包含将流量从子网路由到VCN外部目的地的规则,通常通过网关。

动态路由网关(DRG):DRG是一个虚拟路由器,提供了在同一区域的VCN之间、VCN与该区域外的网络之间的私有网络流量路径,例如另一个Oracle Cloud Infrastructure区域的VCN、本地网络或另一个云提供商的网络。

Oracle Cloud Infrastructure GoldenGate:Oracle Cloud Infrastructure GoldenGate是一个完全托管的服务,允许从位于本地或任何云中的源进行数据摄取,利用GoldenGate CDC技术进行非侵入式和高效的数据捕获,并实时、大规模地将数据传送到Oracle Autonomous Data Warehouse,以便尽快向消费者提供相关信息。

Microsoft Azure 组件

虚拟网络(VNet)和子网:VNet是在Azure中定义的虚拟网络。它可以包含多个不重叠的CIDR块子网,这些子网可以在创建VNet之后添加。VNet可以细分为多个子网,这些子网可以覆盖一个区域或多个可用性区域。每个子网包含一系列不与VNet中其他子网重叠的地址。使用VNet可以在网络层面逻辑上隔离您的Microsoft Azure资源。

ExpressRoute:Azure ExpressRoute允许您在Azure的VNet和其他网络之间建立私有连接,如您的本地网络或其他云提供商的网络。ExpressRoute提供比典型互联网连接更可靠、更快速的替代方案,因为其流量不通过公共互联网。

虚拟网络网关:虚拟网络网关允许Azure VNet与Azure外部网络之间的流量传输,无论是通过公共互联网还是使用ExpressRoute,这取决于您选择的网关类型。

路由表:路由表用于指导流量在Azure子网、VNets以及Azure外部网络之间的流向。

网络安全组:网络安全组包含用于控制VNet内部Azure资源之间网络流量的规则。每条规则都指定了允许或禁止的网络流量的来源或目的地、端口、协议和方向。

Azure Synapse Analytics:Azure Synapse Analytics是一项分析服务,整合了数据集成、企业数据仓库和大数据分析。它允许用户按照自己的条件查询数据,无论是使用无服务器还是专用的选项,都能大规模地进行。Azure Synapse通过统一体验将这些功能结合在一起,便于摄取、探索、准备、变换、管理和提供数据,满足即时的BI和机器学习需求。

Azure Data Lake Storage Gen2:Azure Data Lake Storage Gen2是一套专为大数据分析构建的功能,基于Azure Blob Storage。Data Lake Storage Gen2结合了Azure Data Lake Storage Gen1的功能和Azure Blob Storage。例如,Data Lake Storage Gen2提供了文件系统语义、文件级别的安全性和可伸缩性。由于这些功能基于Blob存储,因此您还可以享受到低成本的分层存储以及高可用性和灾难恢复功能。

建议:以下建议可以作为配置的出发点,但您的具体需求可能与此处描述的架构有所不同。

配置建议

根据您的工作负载对带宽的需求,选择合适大小的Oracle Cloud Infrastructure FastConnect和Azure ExpressRoute虚拟电路。

在连接到OCI动态路由网关(DRG)和OCI FastConnect的OCI虚拟云网络(VCN)/子网中配置Oracle数据库。

在OCI上配置路由和安全/网络安全组(NSG),以便于Azure Synapse Analytics网络流量能够访问Oracle数据库。

对于设置在私有端点的Oracle Cloud数据库,您需要指定VCN配置,以便只允许来自特定VCN的流量。这将阻止来自所有公共IP或其他VCN的数据库访问。

考虑因素

在部署此参考架构时,应考虑以下几点。

成本

  • Oracle Cloud Infrastructure FastConnect:FastConnect在Oracle Cloud Infrastructure的所有区域中的成本相同,没有单独的数据进出费用。
  • Azure ExpressRoute:Azure ExpressRoute的成本因区域而异。Azure为ExpressRoute提供了多种SKU;Oracle推荐使用本地设置,因为它没有单独的数据进出费用,并且最低带宽为1 Gbps。标准和高级配置提供较低的带宽,但在计量设置中会产生单独的出口费用。
  • Oracle Autonomous Transaction Processing的Oracle CPU(OCPU)自动伸缩功能可以根据需求处理高峰工作负载,同时大幅降低许可成本。

性能

  • 在此参考架构的客户用例中,需求是将数据从OCI上的主数据库实时复制到Azure端点。利用OCI GoldenGate,客户的异构和多云大数据存储始终与其运营和分析生产系统中的实时数据保持一致,实现了实时分析。

网络

  • 作为替代方案,也可以使用Oracle Interconnect for Microsoft Azure。Oracle Interconnect for Microsoft Azure只在特定的Azure-OCI配对区域可用。有关更多信息,请参见“了解哪些Azure和OCI区域支持OracleDB for Azure”的探索更多部分。
  • 如果OCI和Azure区域不支持Oracle Interconnect for Microsoft Azure,可以使用每个云提供商(OCI和Azure)的骨干网络承载流量。如果使用OCI骨干网络,则必须在OCI内创建一个包含可用Oracle Interconnect for Microsoft Azure区域的中间区域,以及与不支持Oracle Interconnect for Microsoft Azure的区域的远程对等连接(RPC)。 注意:如果在设计中使用OCI骨干网络和RPC,需要在动态路由网关(DRG)级别使用自定义路由,以将流量从中间区域路由到不包含Interconnect合格区域的其他区域。若要使用Azure骨干网络,考虑使用ExpressRoute的本地、标准和高级SKU,以确保有合适的SKU连接Azure内的两个区域。还可以考虑使用提供第三层服务的FastConnect提供商,如Megaport云路由器。

开启您的Oracle云之旅:Agilewing - 您的智能云服务伙伴

作为Oracle的高级合作伙伴,Agilewing正重新定义企业体验Oracle云服务的方式。借助于其简化的开户流程和一流的技术支持,Agilewing将复杂的开户和操作流程转化为一种轻松、直观的体验。通过我们的一站式服务,您可以迅速开启并享受Oracle云的全方位服务,从而无缝融入云端世界。

Agilewing的AgileCDN服务,结合了OCI的云基础服务,提供了一流的全球内容加速解决方案。超过2800个全球POP节点和7000个直连点的强大网络,确保了无论您的业务扩展到全球哪个角落,都能保持高效稳定的运行。

利用Oracle云的先进技术,Agilewing致力于简化云服务搭建、云迁移和业务出海的过程。我们的合作模式为客户带来经济高效的解决方案,使他们能够更加专注于核心业务,同时享受Oracle云的高性能和安全保障。

Oracle云服务,作为一个充满潜力的领域,以其高性能、安全性和全球统一的服务标准,为各类企业开启了新的机遇之门。通过Agilewing的专业服务,无论是个人用户还是企业,都能轻松步入这个充满技术革新和高效能的新时代。现在,就让Agilewing引领您开始探索Oracle云服务,打开一个全新的世界大门。

如您想咨询 Oracle 的相关业务,可联系搜索微信号:lhh1843812463woshiwhw123

或者可以进入以下群组进行咨询:

微信公众号

微信技术交流社群: