欢迎访问深圳敏捷云计算科技有限公司!

甲骨文云部署多云分析管道:结合Azure Synapse与Oracle Autonomous Database的强大组合

2024-01-15 原创文章

云部署反映了企业的异构IT环境。企业希望在迁移到云时优化成本性能,并使用最佳服务。多云分离堆栈数据分析管道通过直接连接Azure Synapse Analytics和Oracle Autonomous Database在Shared Exadata Infrastructure上的互连,满足企业实时业务洞察的需求。

这一架构使用Azure集成运行时(IR)为Azure Synapse Analytics创建一个私有端点。Synapse流量通过私有的Oracle云与Azure间连接路由到OCI上的Oracle Autonomous Database在Shared Exadata Infrastructure的私有端点。

以下是一些好处:

  • 多云数据分析管道提供实时业务洞察
  • Oracle Autonomous Database提供了以机器学习为驱动的托管服务,具有低总体拥有成本(TCO)
  • Oracle云与Azure间连接提供专用的、高带宽、低延迟的网络连接
  • Azure Synapse Analytics整合了数据集成、企业数据仓库和大数据分析功能。

架构

此架构展示了一个典型的多云部署,其中包括部署在Oracle Cloud Infrastructure (OCI)上的Oracle E-Business Suite和部署在Microsoft Azure上的Azure Synapse Analytics。

Oracle E-Business Suite的完整堆栈部署在OCI上。生产中的Oracle E-Business Suite数据通过Oracle Cloud Infrastructure GoldenGate实时复制到Oracle Autonomous Data Warehouse。Azure Synapse Analytics通过Oracle云与Azure间连接直接访问数据仓库。Oracle云与Azure间连接提供了一个专用的、高带宽且低延迟的连接,连接Azure和OCI。

以下图表展示了此参考架构。

本地应用程序和用户通过VPN或专用连接(如Oracle Cloud Infrastructure FastConnect或Azure ExpressRoute)连接到这两个云平台。

OCI和Azure之间的私有互连使用私有IP或端点来路由流量。带有私有端点的Autonomous Database部署在与Azure互连的OCI区域内。Azure Synapse Analytics是一个平台即服务(PaaS)产品,它没有Oracle数据库的私有端点。然而,Azure提供自托管集成运行时(IR),您可以在虚拟机(VM)上部署它,并在Oracle Autonomous Database和Azure Synapse之间架设桥梁。因为Synapse工作区的Azure托管虚拟网络(VNet)不能直接连接到Oracle数据库的Azure VNet。需要一个自我管理的VNet来部署IR。

自托管集成运行时主机的网络带宽有限,可能不足以在所需的时间窗口内从自治数据库传输大量数据到Azure Synapse Analytics。我们建议部署多个IR以实现高可用性。

该架构在OCI上包含以下组件:

区域

Oracle Cloud Infrastructure区域是一个地理区域,包含一个或多个数据中心,称为可用性域。区域彼此独立,并且可能相距甚远(跨越国家甚至大洲)。

可用性域

可用性域是区域内独立的、独立的数据中心。每个可用性域内的物理资源与其他可用性域的资源隔离,从而提供故障容忍性。可用性域不共享基础设施,如电力或冷却,或内部可用性域网络。因此,一个可用性域的故障不太可能影响该区域内的其他可用性域。

虚拟云网络(VCN)和子网

VCN是在Oracle Cloud Infrastructure区域中设置的可定制的、软件定义的网络。与传统数据中心网络一样,VCN让您完全控制您的网络环境。VCN可以有多个不重叠的CIDR块,您可以在创建VCN后更改这些块。您可以将VCN分割为子网,这些子网可以限定在一个区域或一个可用性域。每个子网由不与VCN中其他子网重叠的连续地址范围组成。创建后您可以更改子网的大小。子网可以是公共的或私有的。

堡垒服务

Oracle Cloud Infrastructure堡垒服务提供受限制且时间有限的安全访问,用于那些没有公共端点并且需要严格资源访问控制的资源,如裸机和虚拟机、Oracle MySQL数据库服务、自治事务处理(ATP)、Oracle容器引擎Kubernetes (OKE),以及任何其他允许安全外壳协议(SSH)访问的资源。使用Oracle Cloud Infrastructure堡垒服务,您可以在不部署和维护跳板主机的情况下启用对私有主机的访问。此外,您还可以通过基于身份的权限和集中式、审计的、时间限制的SSH会话获得改进的安全姿态。Oracle Cloud Infrastructure堡垒服务消除了堡垒访问的公共IP需求,减少了远程访问的麻烦和潜在攻击面。

负载均衡器

Oracle Cloud Infrastructure负载均衡服务提供从单个入口点到后端多个服务器的自动流量分配。

Oracle E-Business Suite

Oracle E-Business Suite是一套集成的商业应用程序套件,使组织能够做出更好的决策、降低成本和提高绩效。该产品提供了客户关系管理、服务管理、财务管理、人力资本管理、项目组合管理、高级采购、供应链管理、价值链规划和价值链执行等解决方案。

Oracle E-Business Suite Cloud Manager

Oracle E-Business Suite Cloud Manager是一个基于Web的应用程序,驱动Oracle E-Business Suite在Oracle Cloud Infrastructure上的所有主要自动化流程,包括提供新环境、对这些环境执行生命周期管理活动,以及从本地恢复环境。

Oracle E-Business Suite Cloud Manager旨在简化Oracle E-Business Suite数据库管理员(DBA)每天执行的多种任务,其目标是减少执行这些任务所需的努力。

Oracle Cloud Infrastructure GoldenGate

Oracle Cloud Infrastructure GoldenGate是一个完全托管的服务,允许从位于本地或任何云中的数据源摄取数据,利用GoldenGate CDC技术进行非侵入式和高效的数据捕获,并实时且大规模地将数据传送到Oracle Autonomous Data Warehouse,以便尽快将相关信息提供给用户。

Autonomous Database

Oracle Autonomous Database是一个完全托管、预配置的数据库环境,您可以用于事务处理和数据仓库工作负载。您无需配置或管理任何硬件,或安装任何软件。Oracle Cloud Infrastructure负责创建数据库,以及备份、打补丁、升级和调优数据库。

Data Safe

Oracle Data Safe是一个完全集成的、面向区域的云服务,提供了一整套功能,用于保护Oracle数据库中的敏感和受监管数据。Data Safe还支持本地数据库、Oracle Exadata Database Service on Cloud@Customer以及多云部署。所有Oracle数据库客户都可以通过使用Oracle Data Safe来评估配置和用户风险、监控和审计用户活动,以及发现、分类和掩盖敏感数据,从而降低数据泄露的风险并简化合规性。

对象存储

对象存储提供快速访问大量结构化和非结构化数据的能力,包括数据库备份、分析数据以及如图像和视频等丰富内容。您可以安全可靠地存储数据,然后直接从互联网或云平台内检索数据。您可以无缝扩展存储,而不会经历任何性能下降或服务可靠性降低。对于您需要快速、立即和频繁访问的“热”存储,使用标准存储。对于您长期保留并很少或极少访问的“冷”存储,使用归档存储。

审计

Oracle Cloud Infrastructure审计服务自动记录对所有支持的Oracle Cloud Infrastructure公共应用程序编程接口(API)端点的调用作为日志事件。目前,所有服务都支持Oracle Cloud Infrastructure审计的日志记录。

日志

日志是一种高度可扩展且完全托管的服务,可让您访问云中资源的以下类型的日志:

  • 审计日志:与审计服务发出的事件相关的日志。
  • 服务日志:由各个服务(如API网关、事件、函数、负载均衡、对象存储和VCN流量日志)发出的日志。
  • 自定义日志:包含自定义应用程序、其他云提供商或本地环境的诊断信息的日志。

策略

Oracle Cloud Infrastructure身份和访问管理策略指定谁可以访问哪些资源,以及如何访问。访问权限是在组和部门级别授予的,这意味着您可以编写策略,为组在特定部门内或对租户提供特定类型的访问权限。

身份和访问管理(IAM)

Oracle Cloud Infrastructure身份和访问管理(IAM)是Oracle Cloud Infrastructure(OCI)和Oracle Cloud应用程序的访问控制平面。IAM API和用户界面使您能够管理身份域及其内的资源。每个OCI IAM身份域代表一个独立的身份和访问管理解决方案或不同的用户群体。

动态路由网关(DRG)

DRG是一个虚拟路由器,为同一区域内的VCN、VCN与区域外网络之间的私有网络流量提供路径,例如另一个Oracle Cloud Infrastructure区域的VCN、本地网络或其他云提供商的网络。

互联网网关

互联网网关允许VCN中的公共子网与公共互联网之间的流量。

服务网关

服务网关提供从VCN到其他服务(如Oracle Cloud Infrastructure对象存储)的访问。从VCN到Oracle服务的流量通过Oracle网络织物传输,永远不会穿越互联网。

网络应用防火墙(WAF)

Oracle Cloud Infrastructure网络应用防火墙(WAF)是一种符合支付卡行业(PCI)合规性的、基于区域的、边缘强制执行服务,附加在强制执行点上,如负载均衡器或网络应用域名。WAF保护应用程序免受恶意和不必要的互联网流量侵害。WAF可以保护任何面向互联网的端点,为客户的应用程序提供一致的规则执行。

路由表

虚拟路由表包含将流量从子网路由到VCN外部目的地的规则,通常通过网关。

网络安全组(NSG)充当云资源的虚拟防火墙。在Oracle Cloud Infrastructure的零信任安全模型中,所有流量都被拒绝,您可以控制VCN内的网络流量。NSG由一组入站和出站安全规则组成,这些规则仅适用于单个VCN中的特定VNIC集。

安全列表

对于每个子网,您可以创建安全规则,指定必须允许进出子网的流量的来源、目的地和类型。

该架构在Azure上包含以下组件:

Azure ExpressRoute

Microsoft Azure ExpressRoute让您可以在VNet和另一个网络之间建立私有连接,如您的本地网络或另一个云提供商的网络。ExpressRoute是典型互联网连接的更可靠和更快速的替代方案,因为通过ExpressRoute的流量不会穿越公共互联网。

Microsoft Azure VNet

Microsoft Azure虚拟网络(VNet)是您在Azure中私有网络的基本构建模块。VNet使许多类型的Azure资源,如Azure虚拟机(VM),能够安全地与彼此、互联网和本地网络通信。

集成运行时

集成运行时提供跨不同网络的数据集成能力,适用于具有公共可访问端点的网络。

Microsoft Azure服务,如Azure Synapse Analytics,使用集成运行时进行数据集成。

Azure Synapse Analytics

Azure Synapse Analytics是Microsoft提供的一项服务,为数据仓库和大数据系统提供分析。

Azure Active Directory

Azure Active Directory是Microsoft的一项服务,存储有关网络上对象的信息,并使管理员和用户易于查找和使用这些信息(如账户、权限、安全策略、DNS)。Azure Active Directory使用结构化的数据存储作为目录信息的逻辑、层次组织的基础。

建议

以下建议可作为起点。您的需求可能与此处描述的架构不同。

配置

  • 在Azure上为托管集成运行时(IR)的虚拟机(VM)提供更大的配置和更高的网络带宽,以启用Oracle Autonomous Data Warehouse与Azure Synapse Analytics之间的数据传输的并行线程。
  • 在Microsoft Azure上为自托管集成运行时配置多于一个VM,以避免单点故障,并且IR主机的组合带宽提供了Oracle Autonomous Data Warehouse与Azure Synapse Analytics之间数据传输所需的吞吐量。
  • 在不同的Azure可用性区域配置和部署Azure IR,以实现最大可用性。
  • 根据工作负载的带宽需求,选择合适大小的Oracle Cloud Infrastructure FastConnect和Azure ExpressRoute虚拟电路。
  • 使用连接到OCI动态路由网关(DRG)和OCI FastConnect的OCI虚拟云网络(VCN)/子网来配置Oracle Autonomous Data Warehouse。
  • 在OCI上配置路由和安全/网络安全组(NSG),允许Azure Synapse Analytics网络流量访问Oracle Autonomous Data Warehouse。
  • 对于Shared Exadata Infrastructure上的Oracle Autonomous Database私有端点,请指定VCN配置,仅允许来自指定VCN的流量。这将阻止来自所有公共IP或VCN的数据库访问。

VCN

  • 创建VCN时,根据您计划连接到VCN中子网的资源数量,确定所需CIDR块的数量和每个块的大小。使用标准私有IP地址空间内的CIDR块。
  • 选择不与您打算建立私有连接的任何其他网络(在Oracle Cloud Infrastructure、您的本地数据中心或其他云提供商)重叠的CIDR块。
  • 创建VCN后,您可以更改、添加和移除其CIDR块。
  • 在设计子网时,考虑您的流量流和安全需求。将特定层或角色内的所有资源连接到同一子网,这可以作为一个安全边界。

考虑因素

在部署这一架构时,请考虑以下内容:

打包应用程序

这一架构以Oracle E-Business Suite为例,同样适用于其他打包应用程序,如PeopleSoft, JD Edwards EnterpriseOne, Siebel或任何基于Oracle数据库的第三方应用。

Oracle Autonomous Data Warehouse

  • 根据工作负荷的需要,适当地配置Autonomous Data Warehouse数据库的计算和存储容量。
  • 启用Autonomous eData Warehouse数据库的自动扩展功能,以支持任何额外工作负荷。
  • 启用自动备份,并选择符合您业务需求的适当保留期限。
  • 启用Oracle Autonomous Data Guard,以便为您的业务需求提供数据保护和灾难恢复,启用备用(对等)数据库。

数据复制

 如果Oracle E-Business Suite有灾难恢复(DR)实例,那么您可以将数据从DR实例复制到Autoneomous Data Warehouse,以减轻生产环境Oracle E-Business Suite数据库的负载。

 作为Oracle GoldenGate的替代方案,您可以使用Oracle Cloud Infrastructure Data Integration从Oracle E-Business Suite数据库复制数据到Autonomous Data Warehouse。


开启您的Oracle云之旅:Agilewing - 您的智能云服务伙伴

作为Oracle的高级合作伙伴,Agilewing正重新定义企业体验Oracle云服务的方式。借助于其简化的开户流程和一流的技术支持,Agilewing将复杂的开户和操作流程转化为一种轻松、直观的体验。通过我们的一站式服务,您可以迅速开启并享受Oracle云的全方位服务,从而无缝融入云端世界。

Agilewing的AgileCDN服务,结合了OCI的云基础服务,提供了一流的全球内容加速解决方案。超过2800个全球POP节点和7000个直连点的强大网络,确保了无论您的业务扩展到全球哪个角落,都能保持高效稳定的运行。

利用Oracle云的先进技术,Agilewing致力于简化云服务搭建、云迁移和业务出海的过程。我们的合作模式为客户带来经济高效的解决方案,使他们能够更加专注于核心业务,同时享受Oracle云的高性能和安全保障。

Oracle云服务,作为一个充满潜力的领域,以其高性能、安全性和全球统一的服务标准,为各类企业开启了新的机遇之门。通过Agilewing的专业服务,无论是个人用户还是企业,都能轻松步入这个充满技术革新和高效能的新时代。现在,就让Agilewing引领您开始探索Oracle云服务,打开一个全新的世界大门。

如您想咨询 Oracle 的相关业务,可联系搜索微信号:lhh1843812463woshiwhw123

或者可以进入以下群组进行咨询:

微信公众号

微信技术交流社群: