欢迎访问深圳敏捷云计算科技有限公司!

Nonolive(数据处理流程搭建)

Nonolive(数据处理流程搭建)

客户介绍

 

Nonolive是一家中国出海移动视频直播平台,于2016年6月初首先在印尼上线,产品覆盖iOS及Android。目前直播平台共有数百名主播为海外用户提供唱歌、舞蹈、挑战等丰富的泛娱乐内容。

 

直播平台部署在云厂商的新加坡区域,主要使用到的资源有 EC2、Aurora、ALB;随着业务发展需求,直播平台针对后台管理人员需要有直播统计数据的报告,该报告需要基于大量直播数据的基础上计算分析得出,要求在现有资源的基础部署数据分析处理的流程。

 

深圳敏捷云计算科技有限公司(以下简称“Agilewing”)协助客户搭建数据分析平台的流程方案并部署到生产环境中。

 

 

 

 

面临的挑战

 

 

  • 目前Nonolive直播平台部署在云厂商的新加坡区域,主要使用到的资源有 EC2、Aurora、ALB;随着业务发展需求,Nonolive的直播平台针对后台管理人员需要有直播统计数据的报告,该报告需要基于大量直播数据的基础上计算分析得出,要求在现有资源的基础上加上数据处理的流程客户现有的资源
  • >针对客户现状需要添加现有的数据分析处理架构。客户目前的数据储存是在Aurora与Ec2上,这里需要统一下数据存储的位置,考虑客户业务上线时间紧凑,以及为了客户后期的方便维护工作,选取了 Elastic MapReduce(EMR)集群的数据分析集群,Elastic MapReduce(EMR)集群能够结合方便的从S3中加载数据,故需要把数据统一的同步至S3存储桶中。
  • 因为Aurora中的数据是表数据,需要实时导出成文件形式的存储到S3中,云厂商上能够方便同步数据的是DMS迁移服务,使用DMS实时同步aurora的数据到S3中
  • 其次是客户 Elastic MapReduce(EMR)集群的配置,客户这边是不熟悉云上的数据分析服务的,需要协助客户完成测试、生产环境的 Elastic MapReduce(EMR)集群部署,联调其功能

 

 

 

 

Agilewing 提供的解决方案

 

 

 

  1. 1. 配置前端应用把不需要存储至数据库中但需要分析的数据保存至S3数据桶中
  2. 2. 选用DMS数据迁移服务把Aurora的数据同步至S3数据桶中
  3. 3. 配置 Elastic MapReduce(EMR)服务,使其加载S3中的文件数据
  4. 4. 设置 Elastic MapReduce(EMR)服务跑数据任务,将数据结构保存至另一个S3结果桶中
  5. 5. 配置前端应用从S3结果桶中获取数据报告信息

 

 

 

 

结果和价值

 

 

  • 通过 Agilewing 的协助客户在现有资源的基础上,成功新增了数据分析平台提供分析报表的模块,可以收集用户的点播、直播的数据,根据时间整理分析出相关的报表信息,给到后台管理人员进行相应的业务展示分析,以此来更好的支持客户。
  • 通过数据分析平台,解决了在数据上的需求,完善了点播、直播业务的功能,使其更好的支持业务发展。
  • 在减少运维团队工作压力的情况下,最大减少数据分析平台的成本
返回列表