欢迎访问深圳敏捷云计算科技有限公司!

整合甲骨文云OCI功能和OCI事件,向私有OSS流发布消息的创新方法

2024-01-15 原创文章

云原生、事件驱动架构利用云资源和事件作为服务间主要的通信机制。它通过解耦组件,允许对事件的实时反应,实现可扩展、弹性和敏捷的系统。它利用事件流和无服务器计算来进行分布式事件驱动通信和处理。

甲骨文云基础设施事件是一个强大的工具,用于基于各种云资源的状态变化创建自动化。它允许我们创建规则,将事件发送到特定的OCI资源,如甲骨文云基础设施流媒体、OCI功能和甲骨文云基础设施通知。

在某些场景中,需要向私有流发布消息。虽然OCI事件可以直接将事件传递到公共流媒体端点,但目前它不支持将消息直接传递到私有流媒体端点,因为私有端点只能在同一个VCN内解析,OCI事件无法推送消息到私有流。然而,这可以通过在您的事件规则中使用OCI功能作为操作类型来实现。

这个参考架构提供了一个全面的概述,如何利用OCI功能与OCI事件将消息传送到私有流媒体端点。


架构

这个参考架构展示了如何使用OCI功能和OCI事件,每当在甲骨文云基础设施对象存储中创建或更新文件时,向私有OSS流媒体端点发布消息。

架构图展示了数据流程,从OCI对象存储中特定存储桶上传文件开始。OCI事件根据定义的事件规则条件被触发。然后发出的事件调用一个函数,该函数从上传的文件中提取数据,并将数据和事件消息发布到OCI功能内配置的私有流媒体端点。重要的是要注意,流媒体服务和功能应该在同一个虚拟云网络(VCN)和私有子网中创建,以确保OCI功能可以访问私有流媒体消息端点。

以下图表说明了这个参考架构。


开始之前

1.设置您的OCI功能应用和OCI流媒体服务(流池和流)。

2.请收集以下信息。这些值需要用来配置OCI功能的环境变量。

用户ID

  • 用于身份验证的用户的OCID。

租户ID

  • 租户OCID。可以在用户资料中找到。

指纹

  • 将用于对OCI API进行身份验证。

地区

  • 创建请求的地区标识符。

API私钥

  • API私钥文件位置。

流OCID

  • OSS流OCID。

认证令牌

  • 来自用户设置的认证令牌。

流端点

  • OSS流端点(从流信息屏幕的“消息端点”获得)。

架构包括以下组件:

租户

当您注册甲骨文云基础设施时,甲骨文在其云中为您设置的安全且隔离的分区即为租户。您可以在租户内创建、组织和管理甲骨文云中的资源。租户可视为公司或组织的同义词。通常,一家公司将拥有一个租户,并在该租户内反映其组织结构。一个租户通常与一个订阅关联,而一个订阅通常只有一个租户。

地区

甲骨文云基础设施地区是包含一个或多个数据中心(称为可用性域)的本地化地理区域。地区彼此独立,彼此之间可能相隔很远(跨越国家甚至大陆)。

分区

分区是甲骨文云基础设施租户内的跨地区逻辑分区。使用分区来组织甲骨文云中的资源,控制对资源的访问,并设置使用配额。要控制对给定分区中资源的访问,您需要定义策略,指定谁可以访问资源以及他们可以执行哪些操作。

可用性域

可用性域是地区内独立的、相互独立的数据中心。每个可用性域的物理资源与其他可用性域的资源隔离,提供容错能力。可用性域不共享基础设施,如电源或冷却设施,或内部可用性域网络。因此,一个可用性域的故障不太可能影响该地区内其他可用性域。

故障域

故障域是可用性域内的硬件和基础设施分组。每个可用性域有三个故障域,它们拥有独立的电源和硬件。当您将资源分布在多个故障域时,您的应用程序可以承受物理服务器故障、系统维护和故障域内的电力故障。

虚拟云网络(VCN)和子网

VCN是您在甲骨文云基础设施地区设置的可自定义、软件定义的网络。就像传统的数据中心网络一样,VCN让您完全控制网络环境。VCN可以有多个不重叠的CIDR块,您可以在创建VCN后更改它们。您可以将VCN分割为子网,这些子网可以限定在一个地区或一个可用性域。每个子网由一系列连续的地址组成,这些地址不与VCN中的其他子网重叠。您可以在创建后更改子网的大小。子网可以是公共的或私有的。

安全列表

对于每个子网,您可以创建安全规则,指定必须允许进出子网的流量的来源、目的地和类型。

服务网关

服务网关提供从VCN到其他服务(如甲骨文云基础设施对象存储)的访问。从VCN到甲骨文服务的流量经过甲骨文网络基础设施,不经过互联网。

对象存储

对象存储提供快速访问大量结构化和非结构化数据,包括数据库备份、分析数据以及图像和视频等丰富内容。您可以安全地存储数据,然后直接从互联网或云平台内检索数据。您可以无缝地扩展存储,而不会经历性能下降或服务可靠性降低。对于您需要快速、立即且频繁访问的“热”存储,使用标准存储。对于您长期保留且很少或几乎不访问的“冷”存储,使用归档存储。

事件

甲骨文云基础设施服务会发出事件,这些事件是描述资源变化的结构化消息。事件会在创建、读取、更新或删除(CRUD)操作、资源生命周期状态变化以及影响云资源的系统事件中发出。

流媒体

甲骨文云基础设施流媒体提供了一个完全托管的、可扩展的、持久的存储解决方案,用于摄取连续的、大量的数据流,您可以实时消费和处理这些数据。您可以使用流媒体来摄取大量数据,例如应用日志、操作遥测、网页点击流数据;或者用于其他数据持续且按顺序在发布-订阅消息模型中产生和处理的用例。

函数

甲骨文云基础设施函数是一个完全托管的、多租户的、高度可扩展的、按需的、功能即服务(FaaS)平台。它由Fn项目开源引擎提供支持。函数使您能够部署代码,并直接调用它或响应事件触发它。甲骨文函数使用托管在甲骨文云基础设施注册表中的Docker容器。

日志

  • 日志是一个高度可扩展且完全托管的服务,提供对云中资源的以下类型日志的访问:
  • 审计日志:与审计服务发出的事件相关的日志。
  • 服务日志:单个服务(如API网关、事件、函数、负载平衡、对象存储和VCN流量日志)发出的日志。
  • 自定义日志:包含来自自定义应用程序、其他云提供商或本地环境的诊断信息的日志。

推荐

  • 使用以下推荐作为使用OCI功能和OCI事件实现此参考架构的起点。您的需求可能与这里描述的架构不同。

VCN

  • 当您创建VCN时,根据您计划附加到VCN子网中的资源数量,确定所需的CIDR块数量和每个块的大小。使用位于标准私有IP地址空间内的CIDR块。
  • 选择不与您打算建立私有连接的任何其他网络(在甲骨文云基础设施、您的本地数据中心或其他云提供商)重叠的CIDR块。
  • 创建VCN后,您可以更改、添加和移除其CIDR块。
  • 在设计子网时,考虑您的流量流向和安全需求。将特定层或角色内的所有资源附加到同一子网,这可以作为安全边界。

Cloud Guard

  • 克隆并自定义甲骨文提供的默认配方,创建自定义检测器和响应器配方。这些配方使您能够指定哪种类型的安全违规会产生警告,以及允许对其执行哪些操作。例如,您可能想要检测将可见性设置为公共的对象存储桶。
  • 在租户级别应用Cloud Guard,以覆盖最广泛的范围,并减少维护多种配置的管理负担。
  • 您还可以使用管理列表功能将某些配置应用于检测器。

OCI功能

  • 此架构中的OCI函数使用Python开发。请注意,OCI功能支持多种编程语言,您可以使用自己选择的语言开发函数并部署它们。

OCI流媒体

  • 流池是使用VCN中的私有子网创建的。流是使用这个流池创建的。请确保在与私有OSS流相同的VCN中创建函数,并具有所有必要的访问权限。
  • 流媒体还利用Kafka Connect生态系统直接与第一方和第三方产品进行接口,使用开箱即用的Kafka源和接收器连接器。有关使用Kafka Connect的更多信息,请参见“探索更多”。

OCI对象存储

  • 此架构使用标准对象存储上传文件。请确保启用“发出对象事件”,以便事件服务可以被触发。对于敏感数据,建议使用私有存储桶。

OCI事件

  • 在此架构中,OCI事件配置为监听OCI对象存储中的“对象创建”和“对象更新”事件。在对象上传到OCI对象存储后,该服务被调用并调用函数进行处理。

考虑因素

  • 在实施这个参考架构时,重要的是要考虑以下几个方面。

性能

  • OCI事件、OCI功能和OCI流媒体都具有很高的可扩展性。根据您预期的文件大小和数量,考虑调整分区和流的数量。

安全性

  • 使用策略限制谁可以访问OCI资源。
  • 对于OCI对象存储,默认情况下启用加密,且无法关闭。
  • 所有对OCI功能中部署的函数的访问都通过甲骨文云基础设施身份和访问管理(IAM)控制,该系统允许将函数管理和函数调用权限分配给特定用户和用户组。
  • 建议将密钥和敏感数据存储在OCI保管库中。请考虑使用OCI保管库来存储用于与OCI服务进行授权的API密钥和认证令牌。

可用性

  • Oracle确保OCI功能、OCI事件、OCI流媒体和OCI日志的高可用性,这些都是云原生且完全托管的。OCI流媒体包括以下高可用性功能:日志数据的持续流动多线程且水平可扩展的服务几乎实时的摄取针对短期中断的弹性为高效数据使用而优化

成本

  • 您只需为函数运行时使用的资源付费。

部署

GitHub仓库包含实现此参考架构的OCI功能代码。

  1. 访问GitHub。
  2. 克隆或下载仓库到您的本地计算机。
  3. 遵循README文档中的说明。


开启您的Oracle云之旅:Agilewing - 您的智能云服务伙伴

作为Oracle的高级合作伙伴,Agilewing正重新定义企业体验Oracle云服务的方式。借助于其简化的开户流程和一流的技术支持,Agilewing将复杂的开户和操作流程转化为一种轻松、直观的体验。通过我们的一站式服务,您可以迅速开启并享受Oracle云的全方位服务,从而无缝融入云端世界。

Agilewing的AgileCDN服务,结合了OCI的云基础服务,提供了一流的全球内容加速解决方案。超过2800个全球POP节点和7000个直连点的强大网络,确保了无论您的业务扩展到全球哪个角落,都能保持高效稳定的运行。

利用Oracle云的先进技术,Agilewing致力于简化云服务搭建、云迁移和业务出海的过程。我们的合作模式为客户带来经济高效的解决方案,使他们能够更加专注于核心业务,同时享受Oracle云的高性能和安全保障。

Oracle云服务,作为一个充满潜力的领域,以其高性能、安全性和全球统一的服务标准,为各类企业开启了新的机遇之门。通过Agilewing的专业服务,无论是个人用户还是企业,都能轻松步入这个充满技术革新和高效能的新时代。现在,就让Agilewing引领您开始探索Oracle云服务,打开一个全新的世界大门。

如您想咨询 Oracle 的相关业务,可联系搜索微信号:lhh1843812463woshiwhw123

或者可以进入以下群组进行咨询:

微信公众号

微信技术交流社群: