甲骨文云-使用OCI搜索服务结合OpenSearch聚合日志

OCI搜索服务结合OpenSearch，Oracle的OpenSearch托管服务，使您能够通过利用强大的索引，在毫秒内搜索大型数据集并显示结果。OpenSearch是一个社区驱动的、开源的搜索和分析套件，源自Apache 2.0许可的Elasticsearch 7.10.2和Kibana 7.10.2。

OCI搜索服务结合OpenSearch包括：

• 搜索引擎守护程序 - OpenSearch
• 可视化和用户界面 - OpenSearch Dashboards 通过OCI搜索服务结合OpenSearch，您可以利用相同的Elasticsearch和Kibana API，简化现有堆栈的迁移。OCI搜索服务结合OpenSearch能帮助做什么？
• 分析您的日志
• 存储、调查和连接事件数据，尽快找到并解决问题，提高应用程序性能。
• 为事件数据的季节性波动无缝扩展集群规模。
• 例如：一家旅游激励公司可以使用OCI搜索服务结合OpenSearch分析跨多个提供商的通话量，快速定位并解决问题，确保客户请求到达预期团队。
• 应用搜索
• 数据集不断增长，应用程序、网站和大型数据仓库需要快速且定制化的搜索体验。OCI搜索服务结合OpenSearch可以基于某些数据/页面被源频繁或基于时间的频率，实现最快的结果。
• 例如：一家照片存档业务可以更快地呈现最近请求的图片结果，同时将较老和较少访问的图片移至温存储，以保持索引尽可能快速。

架构

此参考架构展示了一个简单的用例，用于服务器日志的处理和整合。

以下图表展示了这个参考架构。

上图展示了OCI上一个简化的高可用性应用环境，重点是两个位于负载均衡器后面的虚拟机实例。这些实例存在于两个不同的可用性域中。

每个虚拟机实例使用Filebeat来转发日志。Filebeat是安装在虚拟机实例上的轻量级代理，它监控指定的日志文件和位置，收集日志事件，并将它们转发给Logstash。

Logstash是日志解析和转换的数据处理管道，运行在两个不同可用性域的实例中。Logstash接着将转换后的日志发送给OCI搜索服务结合OpenSearch。

OCI搜索服务结合OpenSearch是一个区域托管服务，具有内置的冗余性。OCI搜索服务结合OpenSearch特点是OpenSearch和OpenSearch Dashboards的私有端点，因此您的流量不会穿越互联网。

从本地机器连接到OCI搜索服务结合OpenSearch时，需要在公共子网中设置一个堡垒主机，并用互联网网关作为目标创建路由规则。您可以使用堡垒主机进行端口转发（也称为SSH隧道），在您机器上的一个选定端口与所需的OpenSearch / OpenSearch Dashboards私有端点目的端口之间创建安全连接：

• 9200用于OpenSearch
• 5601用于OpenSearch Dashboards

私有子网中的应用实例也可以通过堡垒主机访问。该架构包括以下组件：

租户

• 租户是Oracle在您注册Oracle云基础设施时在Oracle云中设置的一个安全且隔离的分区。您可以在您的租户内创建、组织和管理Oracle云中的资源。租户通常与公司或组织同义。通常，一个公司会有一个租户，并在该租户内反映其组织结构。一个租户通常与一个订阅关联，一个订阅通常只有一个租户。

策略

• Oracle云基础设施身份和访问管理策略规定了谁可以访问哪些资源以及如何访问。访问权限在组和分区级别授予，这意味着您可以编写策略，为一个组在特定分区内或对租户提供特定类型的访问权限。

分区

• 分区是Oracle云基础设施租户内的跨区域逻辑分区。使用分区来组织Oracle云中的资源，控制对资源的访问，并设置使用配额。要控制对给定分区中的资源的访问，您需要定义策略，指定谁可以访问资源以及他们可以执行哪些操作。

虚拟云网络

• 在OCI中，您的首个步骤之一是为您的云资源设置虚拟云网络（VCN）。VCN是您在OCI区域内设置的软件定义网络。VCN可以分割成子网，这些子网可以特定于一个区域或一个可用性域。特定于区域的和特定于可用性域的子网可以在同一个VCN中共存。子网可以是公共的或私有的。

可用性域

• 可用性域是区域内独立的、独立的数据中心。每个可用性域中的物理资源与其他可用性域中的资源隔离，提供故障容忍性。可用性域不共享基础设施，如电力或冷却，或内部可用性域网络。因此，一个可用性域的故障不太可能影响该区域内的其他可用性域。

堡垒主机

• 堡垒主机是一个计算实例，作为从云外部进入拓扑结构的安全、受控入口点。它使您能够访问放置在私有网络中的敏感资源，这些资源不能直接从云外部访问。该拓扑结构有一个单一的、已知的入口点，您可以定期监控和审计，从而避免在不妥协访问的情况下暴露更敏感的拓扑组件。

负载均衡器

• Oracle云基础设施负载均衡服务提供从单一入口点到后端多个服务器的自动流量分配。

计算实例

• Oracle云基础设施计算允许您配置和管理计算主机。您可以启动满足您的资源需求（CPU、内存、网络带宽和存储）的计算实例。创建计算实例后，您可以安全地访问它，重启它，连接和断开卷，并在不需要时终止它。

互联网网关

• 互联网网关允许VCN中的公共子网与公共互联网之间的流量。

动态路由网关（DRG）

• DRG是一个虚拟路由器，为同一区域内的VCN之间、VCN与区域外网络（如另一个Oracle云基础设施区域的VCN、本地网络或另一个云提供商的网络）之间的私有网络流量提供路径。

保险库

• Oracle云基础设施保险库使您能够集中管理保护数据的加密密钥和用于保护云中资源访问的秘密凭证。

站点到站点VPN

• 站点到站点VPN提供在您的本地网络和Oracle云基础设施中的VCN之间的IPSec VPN连接。IPSec协议套件在数据包从源传输到目的地之前加密IP流量，并在流量到达时解密。

FastConnect

• Oracle云基础设施FastConnect提供了一种在您的数据中心与Oracle云基础设施之间创建专用、私有连接的简便方法。与基于互联网的连接相比，FastConnect提供更高带宽选项和更可靠的网络体验。

Web Application Firewall（WAF）

• Oracle云基础设施Web Application Firewall（WAF）是一种付费卡行业（PCI）合规的、基于区域的和边缘执行服务，附加于执行点，如负载均衡器或Web应用程序域名。WAF保护应用程序免受恶意和不需要的互联网流量。WAF可以保护任何面向互联网的端点，为客户的应用程序提供一致的规则执行。

建议

以下建议仅作为起点。您的需求可能与这里描述的架构不同。

VCN

• 创建VCN时，根据您计划附加到VCN子网中的资源数量，确定所需的CIDR块数量及每个块的大小。使用标准的私有IP地址空间内的CIDR块。
• 选择不与任何其他网络（在Oracle云基础设施、您的本地数据中心或您打算建立私有连接的其他云提供商）重叠的CIDR块。
• 创建VCN后，您可以更改、添加和移除其CIDR块。
• 设计子网时，考虑您的流量走向和安全需求。将同一层或角色内的所有资源附加到同一个子网，可以作为安全边界。

安全性

• 使用策略来限制谁可以访问您公司的OCI资源以及他们如何访问这些资源。成功创建OCI搜索服务结合OpenSearch集群需要特定的策略。使用保险库额外保护您的密钥、证书和秘密。
• 网络服务提供两种虚拟防火墙功能，使用安全规则在数据包层面控制流量：安全列表和网络安全组（NSG）。NSG由一组仅适用于您在单个VCN中选择的一组VNIC的进出口安全规则组成。例如，您可以选择在VCN中作为多层应用程序Web层的Web服务器的所有计算实例。
• NSG安全规则的功能与安全列表规则相同。但是，对于NSG安全规则的来源或目的地，您可以指定NSG而不是CIDR块。因此，您可以轻松编写安全规则来控制同一VCN中两个NSG之间的流量或单个NSG内的流量。创建数据库系统时，您可以指定一个或多个NSG。您还可以更新现有的数据库系统以使用一个或多个NSG。

计算

• 根据每个实例的需求选择合适的OCPUs和内存组合，并根据需要配置本地NVMe和/或块存储。

考虑因素

实施这一架构时，请考虑以下参数的需求：

日志记录

• 在此参考架构中，我们使用Logstash进行日志解析和转换。
• Filebeat也可以直接将日志发送到OpenSearch。这种方法可用于单一类型的日志或非常统一的日志。Filebeat缺乏高级过滤和转换日志的能力，使得聚合格式不同的不同类型日志变得困难。

实例

• 在此参考架构中，我们使用专用实例运行Logstash。作为替代方案，Logstash可以在每个源实例或服务器上运行。这会导致源实例或服务器的资源消耗增加。
• 为了提高Logstash的高可用性，请考虑使用多个实例，分布在故障域或可用性域中。Filebeat可以在Logstash实例之间实现负载平衡，无需单独的负载均衡器。

持久队列

• 考虑为Logstash配置持久队列。Logstash持久队列在异常终止时通过将消息队列存储到磁盘来帮助防止数据丢失。

开启您的Oracle云之旅：Agilewing - 您的智能云服务伙伴

作为Oracle的高级合作伙伴，Agilewing正重新定义企业体验Oracle云服务的方式。借助于其简化的开户流程和一流的技术支持，Agilewing将复杂的开户和操作流程转化为一种轻松、直观的体验。通过我们的一站式服务，您可以迅速开启并享受Oracle云的全方位服务，从而无缝融入云端世界。

Agilewing的AgileCDN服务，结合了OCI的云基础服务，提供了一流的全球内容加速解决方案。超过2800个全球POP节点和7000个直连点的强大网络，确保了无论您的业务扩展到全球哪个角落，都能保持高效稳定的运行。

利用Oracle云的先进技术，Agilewing致力于简化云服务搭建、云迁移和业务出海的过程。我们的合作模式为客户带来经济高效的解决方案，使他们能够更加专注于核心业务，同时享受Oracle云的高性能和安全保障。

Oracle云服务，作为一个充满潜力的领域，以其高性能、安全性和全球统一的服务标准，为各类企业开启了新的机遇之门。通过Agilewing的专业服务，无论是个人用户还是企业，都能轻松步入这个充满技术革新和高效能的新时代。现在，就让Agilewing引领您开始探索Oracle云服务，打开一个全新的世界大门。