欢迎访问深圳敏捷云计算科技有限公司!

甲骨文云 OCI 为零售库存分析设计数据湖仓:新时代的智慧零售解决方案

2024-03-07 原创文章

在创造一种全新的购物体验中,库存管理至关重要。消费者们期望的不仅是货架上商品的充足,更是购物过程的简洁与高效。如今,零售商必须提供无缝的购物体验,而实现这一点的关键,正是数据的有效运用。

零售商们渴望获取大量数据,他们转向基于云的大数据解决方案,以汇总和管理数据,实现实时库存可见性。基于Oracle云基础设施(OCI)构建的数据湖仓库,能够捕获、管理并从销售点、库存、客户及运营系统产生的数据中洞察,以理解实时库存管理。

本参考架构介绍了一个平台拓扑、组件概览以及在OCI上实施成功数据湖仓库的推荐最佳实践。


在零售业务中应用的数据湖仓库架构涉及以下角色:

  • 客户,他们通过网络(网页或移动应用)、自提或送货服务与商家互动,或在实体店与店员交流,或使用自助服务机器。
  • 店长,他们希望了解产品和产品类别的销售情况,获得如库存消耗的预测洞察,并推动自动化行动,例如自动采购。
  • 高层管理人员,他们关注高级实时分析,并希望具备可视化、报告和人工智能功能。
  • 数据科学家,他们处理大数据,面临着日益增长的数据量和数据来源数量,需要快速处理能力和灵活部署模型的灵活性。
  • 低代码开发人员,他们从事现有和新的数据驱动应用开发,注重简化操作,并尽可能少地管理安全性和运营事宜。

架构

零售业务的主要复杂性之一在于系统众多、数据模型和类型繁多,以及不断增长的数据量。这样的挑战需要简化和整合,这正是Oracle云基础设施(OCI)数据湖仓库架构能够帮助实现的。

下图展示了概念性的零售业务湖仓参考架构。

自治数据仓库(ADW)是Oracle云基础设施(OCI)数据湖仓库架构的核心部分之一。它自动化了数据仓库的配置、安全、调优、扩展和备份。它包含自助式数据加载、数据转换、业务模型、自动洞察以及内置的融合数据库功能,使得跨多种数据类型的查询和机器学习分析变得更加简单。ADW上的机器学习具有将算法直接应用于数据所在地的优势,以最大限度地提高性能。ADW与OCI对象存储紧密集成,后者在此作为数据湖,为非结构化数据提供无限且低成本的存储。


数据科学和机器学习的倡议可以实现诸如智能销售预测等成果,这些预测基于季节、市场营销活动的发生、客户人群的特征(如年龄组)和位置,Oracle Spatial & Graph提供必要的位置支持。这些倡议可以通过ADW的OML笔记本(基于Apache Zeppelin)得到支持,并通过OAC访问,使用数据科学(JupyterLab/Python为中心)工具,而Oracle APEX作为低代码定制应用的黄金标准。


客户与商家互动的不同渠道,如图所示,通常依赖于定制应用。Oracle容器引擎用于Kubernetes,提供了可扩展性和对微服务及应用的额外控制。


现代企业AI使用的一个例子是数字助手。在这个用例中,基于湖仓数据的AI驱动数字助手被用于应用程序和自助服务机的会话界面,提供可操作的推荐。



OCI 语言是此场景中最相关的人工智能服务之一,它可以帮助企业提升客户体验,同时减少分析文本数据的时间和努力。该服务有多种用途,包括:


  • 营销:分析社交媒体、评论和新闻,了解客户和行业专家对您的产品的看法。探究他们喜欢和不喜欢的内容,他们想要的新功能,以及您与竞争对手的比较。
  • 客户支持:按产品和部门分类支持票据,以便票据更快地到达适当的团队。使用情感分析识别紧急痛点,优先处理票据。
  • 人力资源:使用实体识别自动筛选简历,识别关键技能和教育背景。使用情感分析和实体识别对员工反馈进行分类,识别员工中最常见的痛点以及采取的最佳后续步骤。


灵活的湖仓架构支持基于Oracle数据科学、人工智能服务的多种场景,结合自治数据仓库和数据湖功能,并与其他OCI服务集成。此外,这种架构还使用了如数据目录和Oracle分析云等服务。这种湖仓架构具有多种用途,包括将重要数据存储在安全可靠且快速检索的存储中,作为机器学习模块的来源,以及为内部和外部使用提供高级报告功能。有了数据湖仓,您可以利用来自任何地方的数据,实时规范化数据,运行嵌入式AI/ML,实现Exadata级别的自动扩展,随时自动扩展(ADW),并依靠先进的安全控制大大降低风险。


在上述表示中,我们可以找到以下集成:

  • Oracle ERP、CRM、POS和外部平台通过Oracle GoldenGate和Oracle数据集成的帮助,将数据和事件实时或通过批处理发送到数据湖仓。
  • 在此示例中,Oracle集成云还扮演了将数据从数据湖仓发送到Oracle采购的额外角色,通过该平台,可以通知供应商自动下达的采购订单。
  • ADW使用查询加速器快速无缝地查询对象存储数据湖中的数据。
  • 可扩展的API网关将数据大规模地暴露给应用程序。
  • Oracle分析云和Oracle数据科学与数据湖仓的服务无缝集成。


该架构包含以下OCI组件:

自治数据仓库

  • 一个完全由Oracle管理的自动扩展自治数据库,包括Oracle机器学习。数据科学家可以使用数据库中的Oracle机器学习功能及其相关笔记本界面来构建、评估、打分和部署机器学习模型。


对象存储

  • OCI对象存储是一个互联网规模的高性能存储平台,提供可靠且成本高效的数据持久性。对象存储可以存储无限量的任何内容类型的非结构化数据,包括分析数据。您可以安全可靠地直接从互联网或云平台内存储或检索数据。多个管理界面让您轻松开始小规模使用,并且可以无缝扩展,而不会经历性能或服务可靠性的降低。
  • 对象存储还可以作为数据仓库的冷存储层,通过存储不经常使用的数据,然后使用Oracle自治数据仓库中的混合表,将其与最新数据无缝结合。


数据目录

  • OCI数据目录是一种完全由Oracle管理的、自助式的企业数据发现和治理解决方案。数据目录提供了一个协作环境来管理技术、业务和运营元数据。


Oracle分析云

  • Oracle分析云是一个可扩展且安全的公共云服务,为业务分析师提供现代、AI驱动的自助式分析功能,用于数据准备、可视化、企业报告、增强分析以及自然语言处理和生成。使用Oracle分析云,您还可以获得灵活的服务管理功能,包括快速设置、轻松扩展和打补丁以及自动化的生命周期管理。
  • Oracle分析云与Oracle机器学习集成。这种集成使分析师能够列出数据库中可用的模型,并在Oracle分析云分析和仪表板中使用这些模型。OAC数据可视化允许用户在可视化数据时应用预构建的机器学习模型或自己训练的模型。


数据科学

  • OCI数据科学是一个完全由Oracle管理的、无服务器的数据科学团队平台,用于使用OCI构建、训练和管理机器学习(ML)模型。它可以轻松地与其他OCI服务(如自治数据仓库、对象存储等)集成。您可以构建和评估高质量的机器学习模型,通过快速投入使用企业信任的数据,增加业务灵活性,并通过更容易部署ML模型支持数据驱动的业务目标。
  • 数据科学与OCI堆栈的其他部分集成,包括函数、数据流、自治数据仓库和对象存储。Oracle加速数据科学(ADS)软件开发工具包(SDK)是OCI数据科学服务的一部分,它是一个Python库,包含许多函数和对象,自动化或简化数据科学工作流程中的步骤,包括连接到数据、探索和可视化数据、使用AutoML训练模型、评估模型和解释模型。ADS还提供了一个简单的界面来访问数据科学服务模型目录和其他OCI服务,包括对象存储。


Oracle数据集成

  • 使用OCI数据集成实现系统间最优的数据流动。它支持声明式和无代码或低代码的ETL和数据管道开发。


GoldenGate

  • Oracle云基础设施GoldenGate是一个托管服务,提供一个实时数据网格平台,该平台使用复制技术保持数据的高可用性,并实现实时分析。客户可以设计、执行和监控他们的数据复制和流数据处理解决方案,而无需分配或管理计算环境。


API网关

  • API网关服务使您能够发布带有私有端点的API,这些端点可以从您的网络内部访问,并且在需要时可以暴露给公共互联网。端点支持API验证、请求和响应转换、CORS、身份验证和授权,以及请求限制。


虚拟云网络

  • 在OCI中的首要步骤之一是为您的云资源设置虚拟云网络(VCN)。VCN是您在OCI区域内设置的软件定义网络。VCN可以分割成子网,这些子网可以特定于一个区域或可用性域。区域特定和可用性域特定的子网可以在同一个VCN中共存。子网可以是公共的或私有的。


容器引擎用于Kubernetes

  • OCI容器引擎用于Kubernetes是一个完全托管的、可扩展的、高可用性的服务,您可以使用它将容器化应用程序部署到云中。您指定应用程序所需的计算资源,容器引擎用于Kubernetes将它们预置在Oracle云基础设施的现有租户中。容器引擎用于Kubernetes使用Kubernetes自动化跨主机集群部署、扩展和管理容器化应用程序。


注册表

  • OCI注册表是Oracle管理的注册表,使您能够简化从开发到生产的工作流程。注册表使您能够轻松地存储、共享和管理开发工件,如Docker镜像。Oracle云基础设施的高可用和可扩展架构确保您可以可靠地部署和管理应用程序。


建议

以下建议可作为设计OCI数据湖仓的起点。您的需求可能与此处描述的架构有所不同。

VCN

  • 创建VCN时,根据您计划连接到VCN子网的资源数量,确定所需的CIDR块数量及每个块的大小。使用标准私有IP地址空间内的CIDR块。
  • 选择不与您打算建立私有连接的任何其他网络(在Oracle云基础设施、您的本地数据中心或其他云提供商中)重叠的CIDR块。
  • 创建VCN后,您可以更改、添加和删除其CIDR块。
  • 设计子网时,考虑您的流量流动和安全需求。将特定层或角色内的所有资源连接到同一子网,这可以作为一个安全边界。


安全性

  • 使用策略限制谁可以访问您公司的OCI资源以及他们如何访问这些资源。
  • 使用Oracle Cloud Guard主动监控和维护您在OCI中资源的安全。Cloud Guard使用您可以定义的检测器配方检查资源的安全弱点,并监控操作者和用户的高风险活动。当检测到任何配置错误或不安全活动时,Cloud Guard会推荐纠正措施,并根据您可以定义的响应者配方协助这些措施。对于需要最高安全级别的资源,Oracle建议您使用安全区域。安全区域是一个与基于最佳实践的Oracle定义的安全策略配方相关联的隔离区。例如,安全区域内的资源不得从公共互联网访问,并且必须使用客户管理的密钥进行加密。在安全区域中创建和更新资源时,OCI会根据安全区域配方中的策略验证操作,并拒绝违反任何策略的操作。


自治数据仓库

  • 对象存储提供可靠且成本高效的数据持久性,它可以快速访问大量结构化和非结构化数据,包括数据库数据、分析数据、图像、视频等。我们建议使用标准存储从外部来源获取数据,并用于进一步处理,因为它可以快速且频繁地访问。您可以构建生命周期策略,将数据从标准存储移动到冷存储,当它不再频繁需要时。


数据目录

  • 为了全面和整体地了解存储在平台上并流动的数据,考虑不仅收集支持数据持久性层的数据存储,还要收集源数据存储。将这些收集的技术元数据映射到业务词汇表,并用自定义属性丰富它,可以帮助您映射业务概念,并记录和管理安全和访问定义。
  • 为了促进创建虚拟化存储在Oracle云基础设施对象存储上的数据的Oracle自治数据仓库外部表,利用Oracle云基础设施数据目录之前收集的元数据。这简化了外部表的创建,确保了数据存储间元数据的一致性,且不易出现人为错误。



开启您的Oracle云之旅:Agilewing - 您的智能云服务伙伴

作为Oracle的高级合作伙伴,Agilewing正重新定义企业体验Oracle云服务的方式。借助于其简化的开户流程和一流的技术支持,Agilewing将复杂的开户和操作流程转化为一种轻松、直观的体验。通过我们的一站式服务,您可以迅速开启并享受Oracle云的全方位服务,从而无缝融入云端世界。


Agilewing的AgileCDN服务,结合了OCI的云基础服务,提供了一流的全球内容加速解决方案。超过2800个全球POP节点和7000个直连点的强大网络,确保了无论您的业务扩展到全球哪个角落,都能保持高效稳定的运行。


利用Oracle云的先进技术,Agilewing致力于简化云服务搭建、云迁移和业务出海的过程。我们的合作模式为客户带来经济高效的解决方案,使他们能够更加专注于核心业务,同时享受Oracle云的高性能和安全保障。


Oracle云服务,作为一个充满潜力的领域,以其高性能、安全性和全球统一的服务标准,为各类企业开启了新的机遇之门。通过Agilewing的专业服务,无论是个人用户还是企业,都能轻松步入这个充满技术革新和高效能的新时代。现在,就让Agilewing引领您开始探索Oracle云服务,打开一个全新的世界大门。