欢迎访问深圳敏捷云计算科技有限公司!

甲骨文云-利用OpenSearch和OCI视觉,实现对象存储中文档和图像的搜索与文字识别:技术融合的创新应用

2024-02-29 原创文章

对于大数据解决方案,用户倾向于在像甲骨文云基础设施对象存储这样的低成本存储系统中存储文档。当有大量文档和数TB的数据时,用户需要一个简单、可扩展的选项来搜索并找到相关信息。这些用户还可能有针对特定步骤索引自定义文档以获得更好搜索结果的需求。

此参考架构描述了如何使用低代码工具开发一个程序,通过设计有甲骨文视觉构建器的搜索引擎,在甲骨文云基础设施对象存储中搜索存储的文档和图像。您可以基于OpenSearch安全性或与文档相关联的标签在文件级别上添加安全性。

此参考架构提供以下特点:

  • 支持大多数文件类型:Word、Excel、Powerpoint、pdf、xml等使用文字识别的图像。您可以在图像中搜索文本。使用图像标注的无文本图像。您可以在图像中找到对象。自定义文档
  • 支持多语言(希伯来语、阿拉伯语等)
  • 提供简易用户界面
  • 使用低代码工具,使流程中的任何更改易于实现。例如,您可以轻松地添加额外的文件类型或解析过程中的额外步骤。
  • 以高可用性模式运行且可扩展。

架构

以下图解展示了此参考架构的逻辑流程。

  • 一个文档被上传到对象存储
  • 一个事件被触发并在流媒体(Kafka)中排队
  • 根据文件类型,该事件由甲骨文集成云服务(OIC)处理
  • 处理结果上传到OpenSearch

以下图解展示了此参考架构。


终端用户可以在使用视觉构建器设计的搜索页面中搜索这些文档。

内部处理采用低代码工具,即OIC(甲骨文集成云服务)设计。

应用程序检测对象存储中的变化(文件创建、更新、删除)并将其发送至OIC进行处理。

OCI 将所有部分连接起来:

  • 使用流媒体队列(Kafka)从对象存储接收事件
  • 检测文档类型
  • 根据文档类型进行处理:

将图像发送到OCI AI视觉进行标记或文字识别

将文档发送到Java函数以解析文档(Word、PDF等)

对于自定义文档(如身份证),检测姓名、出生日期和卡片的ID

  • 文档被转换,结果存储在OpenSearch中进行索引。


终端用户搜索界面是用视觉构建器搭建的。当终端用户进行搜索时,结果来自OpenSearch,文档链接指向对象存储。

查看文档时,文档通过短时预授权请求从对象存储获取,这些请求是即时创建的。

这个处理流水线可以通过额外的步骤扩展,以调用任何自定义代码,使用函数(或计算实例上的REST服务),以增强将存储在OpenSearch实例索引中的元数据。


该架构具有以下组件:


OCI搜索服务与OpenSearch

OCI搜索服务与OpenSearch是作为甲骨文托管服务提供的洞察引擎。甲骨文自动化地进行补丁应用、更新、升级、备份和调整服务大小,而无需任何停机时间。客户可以快速存储、搜索和分析大量数据,并几乎实时看到结果。

甲骨文集成

甲骨文集成是一个企业连接和自动化平台,用于快速现代化应用程序、业务流程、API和数据。开发人员和云架构师可以使用可视化开发体验、预构建的集成和嵌入式最佳实践,将SaaS和本地应用程序连接起来,速度提高六倍。甲骨文集成使您可以原生访问甲骨文云ERP、HCM和CX中的事件。将特定应用程序的分析孤岛连接起来,简化采购到收货、招聘到支付、潜在客户到发票等关键流程。最后,为您的IT和业务领导者提供端到端的可见性。

对象存储

对象存储提供快速访问大量结构化和非结构化数据,包括数据库备份、分析数据和丰富内容,如图像和视频。您可以安全可靠地存储数据,然后直接从互联网或云平台内检索数据。您可以无缝地扩展存储,而不会经历性能或服务可靠性的降级。使用标准存储进行您需要快速、立即和频繁访问的“热”存储。使用归档存储进行您长时间保留且很少或几乎不访问的“冷”存储。

OCI视觉

OCI视觉是一个用于进行基于深度学习的大规模图像分析的AI服务。开发人员可以利用现成的预构建模型轻松地将图像识别和文字识别功能集成到他们的应用程序中,无需机器学习(ML)专业知识。对于特定行业的用例,开发人员可以使用自己的数据自动训练定制的视觉模型。这些模型可用于检测制造业中的视觉异常、从文档中提取文本以自动化业务工作流程,以及标记图像中的物品以计数产品或货物。除了访问预训练模型外,开发人员还可以创建定制模型,无需数据科学专业知识或管理定制模型基础设施。

流媒体

甲骨文云基础设施流媒体服务提供了一个完全托管的、可扩展的、持久的解决方案,用于实时摄取和消费高容量数据流。在任何数据不断产生并按发布-订阅消息模型顺序处理的用例中,都可以使用流媒体。

事件

甲骨文云基础设施服务发出的事件是结构化的消息,描述了资源的变化。对于创建、读取、更新或删除(CRUD)操作、资源生命周期状态变化以及影响云资源的系统事件,都会发出事件。

函数

甲骨文函数是一个完全托管的、多租户的、高度可扩展的、按需的函数即服务(FaaS)平台。它由Fn项目开源引擎提供动力。函数使您能够部署代码,并直接调用它或响应事件来触发它。甲骨文函数使用托管在甲骨文云基础设施注册表中的Docker容器。

租户

当您注册甲骨文云基础设施时,甲骨文在云中为您设置的安全且隔离的分区称为租户。您可以在甲骨文云中的租户内创建、组织和管理您的资源。租户与公司或组织同义。通常,一家公司将有一个租户,并在该租户内反映其组织结构。单个租户通常与单个订阅相关联,而单个订阅通常只有一个租户。

地域

甲骨文云基础设施地域是一个地理上局部的区域,包含一个或多个数据中心,称为可用性域。地域彼此独立,可以相隔很远(跨越国家甚至大洲)。

分区

分区是甲骨文云基础设施租户内的跨地域逻辑分区。使用分区来组织您在甲骨文云中的资源,控制对资源的访问,并设置使用配额。为了控制对给定分区中资源的访问,您需要定义策略,指定谁可以访问资源以及他们可以执行哪些操作。

虚拟云网络(VCN)和子网

VCN是您在甲骨文云基础设施地域中设置的可定制、软件定义的网络。与传统数据中心网络一样,VCN让您完全控制您的网络环境。VCN可以拥有多个不重叠的CIDR块,您在创建VCN后可以更改它们。您可以将VCN分割成子网,这些子网可以被限制在一个地域或一个可用性域。每个子网由一个连续的地址范围组成,这些地址与VCN中的其他子网不重叠。您可以在创建后更改子网的大小。子网可以是公共的或私有的。

安全列表

对于每个子网,您可以创建安全规则,指定必须允许进出子网的流量的来源、目的地和类型。

推荐

以下建议可作为起点。您的需求可能与此处描述的架构有所不同。

维护和高可用性

该设计几乎只使用由云维护的PaaS服务,无需安装、打补丁、更新或升级解决方案中使用的软件。这适用于:对象存储、事件、流媒体、OCI视觉、甲骨文集成、视觉构建器和函数。

唯一需要关注的组件是安装在计算实例上的甲骨文集成云代理,用于访问位于私有网络中的OpenSearch集群。遵循OIC文档中的指南,使OIC代理易于维护且高度可用。

可伸缩性和规模

此参考架构使用PaaS服务,对于大多数服务来说,它是开箱即用的可伸缩的。请注意,OpenSearch集群不会自动缩放(仅手动)。因此,基于您的用例,需要正确地缩放解决方案。

考虑因素

部署此参考架构时,请考虑以下几点。

性能

OCI搜索服务与OpenSearch具有无与伦比的配置级别。您不会被限制在特定形状或SKU中;相反,您可以使用灵活形状,根据您的确切需求配置精确的计算核心数量、内存和存储量。

OCI搜索服务与OpenSearch管理设置集群所涉及的工作,包括配置基础设施。一旦您的集群运行,OCI搜索服务与OpenSearch将处理常见的管理任务,如执行备份、监控实例和打补丁软件。OCI搜索服务与OpenSearch与OCI指标集成,产生提供有关集群状态的指标。OCI搜索服务与OpenSearch还提供在不中断服务的情况下修改集群配置和总数据大小的能力。

安全

文档存储在私有对象存储中。当用户点击文档时,会创建一个短暂的临时链接。

实现对所有用户返回相同结果,并在“探索更多”部分链接的LiveLabs研讨会中详细描述。文档级别没有实现安全性。您可以根据OpenSearch安全性和/或与文档和用户关联的标签来实现它。

成本

  • 此参考架构使用对象存储和OpenSearch,这些是低成本产品。它还使用了OIC的标准版本。OIC在索引方面使用得非常高效,它仅使用文件的引用,而不是文件本身。


开启您的Oracle云之旅:Agilewing - 您的智能云服务伙伴

作为Oracle的高级合作伙伴,Agilewing正重新定义企业体验Oracle云服务的方式。借助于其简化的开户流程和一流的技术支持,Agilewing将复杂的开户和操作流程转化为一种轻松、直观的体验。通过我们的一站式服务,您可以迅速开启并享受Oracle云的全方位服务,从而无缝融入云端世界。

Agilewing的AgileCDN服务,结合了OCI的云基础服务,提供了一流的全球内容加速解决方案。超过2800个全球POP节点和7000个直连点的强大网络,确保了无论您的业务扩展到全球哪个角落,都能保持高效稳定的运行。

利用Oracle云的先进技术,Agilewing致力于简化云服务搭建、云迁移和业务出海的过程。我们的合作模式为客户带来经济高效的解决方案,使他们能够更加专注于核心业务,同时享受Oracle云的高性能和安全保障。

Oracle云服务,作为一个充满潜力的领域,以其高性能、安全性和全球统一的服务标准,为各类企业开启了新的机遇之门。通过Agilewing的专业服务,无论是个人用户还是企业,都能轻松步入这个充满技术革新和高效能的新时代。现在,就让Agilewing引领您开始探索Oracle云服务,打开一个全新的世界大门。


如您想咨询 Oracle 的相关业务,可联系搜索微信号:lhh1843812463woshiwhw123

或者可以进入以下群组进行咨询:

微信公众号

微信技术交流社群: