欢迎访问深圳敏捷云计算科技有限公司!

利用甲骨文云OCI数据集成和HeatWave融合多元数据源:开启数据洞察的新纪元

2024-03-07 原创文章

几乎所有类型的数据,来自任何数据源,都可以通过使用Oracle云基础设施(OCI)数据集成集成到MySQL数据库服务和HeatWave中。


HeatWave是为MySQL数据库服务开发的内存中查询加速器,仅在Oracle云基础设施中提供。MySQL数据库服务与HeatWave使您能够直接从MySQL数据库运行在线事务处理(OLTP)和在线分析处理(OLAP)工作负载,无需对应用程序进行任何更改。这消除了单独分析数据库的需求。


OCI数据集成是一个云原生的、完全托管的、无服务器的ETL服务,用于提取、转换和加载数据到数据仓库。


架构

此架构使用Oracle云基础设施(OCI)MySQL数据库服务与Heatwave和OCI数据集成。它展示了如何同时在同一数据库实例上使用OLTP和OLAP工作负载。


在此架构中,来自本地MySQL数据库的数据被传输并加载到OCI上的MySQL数据库服务中。


以下图表展示了这一参考架构。

该架构包含以下组件:


区域(Region)

  • Oracle云基础设施(OCI)的一个区域是包含一个或多个数据中心的地理区域,这些数据中心被称为可用性域。各个区域相互独立,彼此之间可能相隔很远(跨越国家甚至大洲)。


可用性域(Availability domains)

  • 可用性域是区域内独立的数据中心。每个可用性域内的物理资源与其他可用性域的资源相互隔离,提供了容错能力。可用性域不共享基础设施,如电力或冷却系统,或内部可用性域网络。因此,一个可用性域的故障不太可能影响该区域内的其他可用性域。


虚拟云网络(VCN)和子网

  • VCN是您在OCI区域中设置的可定制的软件定义网络。与传统数据中心网络一样,VCN让您完全控制网络环境。VCN可以有多个不重叠的CIDR块,您可以在创建VCN后更改这些块。您可以将VCN分割成子网,这些子网可以限定在一个区域或一个可用性域。每个子网包含一个连续的地址范围,不与VCN中的其他子网重叠。您可以在创建后更改子网的大小。子网可以是公共的或私有的。


安全列表(Security list)

  • 对于每个子网,您可以创建安全规则,指定必须允许进出子网的源、目的地和流量类型。


路由表(Route table)

  • 虚拟路由表包含将流量从子网路由到VCN外部目的地的规则,通常通过网关。


互联网网关(Internet gateway)

  • 互联网网关允许VCN中的公共子网与公共互联网之间的流量。


动态路由网关(DRG)

  • DRG是一个虚拟路由器,为私有网络流量在VCN与该区域外网络之间提供路径,例如另一个OCI区域的VCN、本地网络或另一个云提供商的网络。


FastConnect

  • Oracle云基础设施FastConnect提供了一种轻松创建您的数据中心与Oracle云基础设施之间专用、私有连接的方式。与基于互联网的连接相比,FastConnect提供更高的带宽选项和更可靠的网络体验。


VPN Connect

  • VPN Connect提供了您的本地网络与Oracle云基础设施中的VCN之间的点对点IPSec VPN连接。IPSec协议套件在数据包从源传输到目的地之前加密IP流量,并在到达时解密流量。


身份和访问管理(IAM)

  • 使用OCI身份和访问管理策略来控制谁可以访问您的云资源以及可以执行什么操作。


MySQL数据库服务

  • Oracle MySQL数据库服务是一个完全托管的数据库服务,允许开发人员快速开发和部署使用世界上最流行的开源数据库的安全、云原生应用程序。


HeatWave

  • HeatWave是MySQL数据库服务的一个新的集成、高性能、内存中查询加速器,加速了MySQL针对分析和事务查询的性能。


计算虚拟机(Compute VM)

  • OCI计算服务使您能够在云中配置和管理计算主机。您可以根据CPU、内存、网络带宽和存储的资源要求启动计算实例。创建计算实例后,您可以安全地访问、重新启动、附加和分离卷,并在不需要时删除它。


Oracle对象存储

  • 对象存储提供了对任何内容类型的大量结构化和非结构化数据的快速访问,包括数据库备份、分析数据和丰富内容,如图像和视频。使用标准存储来存储您需要快速、立即和频繁访问的“热”存储。使用归档存储来存储您长时间保留并很少或几乎不访问的“冷”存储。


数据集成服务

  • 几乎所有类型的数据都可以从任何数据源集成到MySQL数据库服务和HeatWave中,使用OCI数据集成来实现。当您需要及时从多样化的数据源收集数据时,Oracle云基础设施(OCI)数据集成服务提供了一个云原生、完全托管、无服务器的ETL(提取、加载、转换)服务,用于将数据提取、加载、转换到数据仓库中。



该架构的建议如下:

Object Storage

  • 本架构使用标准Oracle云基础设施对象存储来存储处理后的输出,以便其他云服务可以访问此输出以进行进一步的分析和显示。

MySQL数据库服务

  • 使用MySQL数据库服务作为应用程序的数据存储。根据工作负载选择合适的数据库形状。对于需要高可用性的应用程序,启用MySQL高可用性,以便部署三个冗余节点。

安全性

  • 利用Oracle云基础设施的安全服务和工具来保护您的应用程序和数据。使用Oracle云基础设施的身份和访问管理(IAM)策略来控制对云资源的访问。

计算实例

  • 根据您的应用程序需求选择合适的计算实例形状。考虑使用OCI的灵活形状,这可以提供更多在OCPUs和内存组合方面的灵活性。

负载均衡器

  • 在创建负载均衡器时,可以选择预定义的形状,提供固定带宽,或指定自定义(灵活)形状,在其中设置带宽范围并根据流量模式让服务自动调整带宽。无论采用哪种方法,您都可以在创建负载均衡器后随时更改其形状。

监控和日志记录

  • 使用OCI监控服务来监控应用程序和基础设施的性能和健康状况。通过OCI日志服务来收集、管理和分析日志数据。

备份和恢复

  • 计划并实施数据备份策略,以确保在发生灾难时可以恢复您的数据和应用程序。使用Oracle云基础设施的备份和恢复功能来保护关键数据。

性能测试

  • 在部署应用程序之前,进行彻底的性能测试以确保系统可以处理预期的用户负载。



在部署此参考架构时,请考虑以下几点:


资源限制

  • 考虑您的租户的最佳实践、服务限制和部门配额。


MySQL数据库服务

  • 使用MySQL.HeatWave.VM.Standard.E3或MySQL.HeatWave.BM.Standard.E3规格创建MySQL服务。


连接性

  • 如果您需要在您的场所和OCI之间建立专用的私人连接,请考虑使用FastConnect,否则使用VCN Connect。


开启您的Oracle云之旅:Agilewing - 您的智能云服务伙伴

作为Oracle的高级合作伙伴,Agilewing正重新定义企业体验Oracle云服务的方式。借助于其简化的开户流程和一流的技术支持,Agilewing将复杂的开户和操作流程转化为一种轻松、直观的体验。通过我们的一站式服务,您可以迅速开启并享受Oracle云的全方位服务,从而无缝融入云端世界。


Agilewing的AgileCDN服务,结合了OCI的云基础服务,提供了一流的全球内容加速解决方案。超过2800个全球POP节点和7000个直连点的强大网络,确保了无论您的业务扩展到全球哪个角落,都能保持高效稳定的运行。


利用Oracle云的先进技术,Agilewing致力于简化云服务搭建、云迁移和业务出海的过程。我们的合作模式为客户带来经济高效的解决方案,使他们能够更加专注于核心业务,同时享受Oracle云的高性能和安全保障。


Oracle云服务,作为一个充满潜力的领域,以其高性能、安全性和全球统一的服务标准,为各类企业开启了新的机遇之门。通过Agilewing的专业服务,无论是个人用户还是企业,都能轻松步入这个充满技术革新和高效能的新时代。现在,就让Agilewing引领您开始探索Oracle云服务,打开一个全新的世界大门。