项目背景

深圳市乐其网络科技有限公司创立于2009年，专注于影视拍摄辅助器材的研发、设计、生产、销售及解决方案的打造，目前消费级细分领域市场排行榜前列。公司旗下摄影器材品牌，产品涵盖相机拍摄配件系列、稳定器拓展配件系列、监视器辅助配件系列、手机拍摄配件系列、通用配件系列，共5大类别、700多个单品，产品远销90多个国家和地区，受到广大摄影爱好者和专业影视行业从业人员的好评，公司目前与包括佳能、索尼、尼康、富士、松下、适马、BMD、RED、ATOMOS在内的多个国际品牌紧密合作，为消费者量身打造高品质的配件类产品，努力打造全球摄影器材周边共创平台。

乐其于2009年开始品牌提供电商服务，是一家致力于整合多元化能力，为品牌提供涵盖视觉设计、创意营销、电商运营、专业客服、极速物流等专业电商服务的公司，一站式助力品牌客户成功开展电商业务。我们拥有专业的直营零售和渠道拓展团队配合品牌实现高效电商渠道和运营，以客户为中心创造真实的效益并不断开拓创新，帮助客户实现在电商投资中获得最大收益。

客户布局包括电商全平台、运营品牌旗舰店、发展手机移动端、实现全渠道优质服务。

从前端到后端的全套电商服务，包括：网站搭建、网络品牌定位 、电商视觉、运营策划、IT设施搭建、数据服务、客户服务、会员管理、仓储物流等整体托管服务。

随着客户业务的不断扩展，客户对电商服务的体验性要求更高，为此乐其网络在电商业务发展的同时，也在使 用CloudFront的网络加速服务来提升网站访问速度，同时乐其网络希望在使用CDN的同时，能够接入到现有的日志收集系统中，对此，Agilewing协助客户在CDN日志方面做出了如下方案。

目标

1. 处理CloudFront原始日志，定制满足客户的字段要求
2. 提供对应的接口，使处理过后的日志能平滑接入现有日志处理系统

解决方案

架构说明

1. S3原始桶：存储CloudFront生成的原始日志信息
2. SQS：消息队列，存储日志中处理过程中的中转信息
3. S3中转桶：存放处理过后的日志文件
4. EC2实例:

   功能一：

   • 1.获取SQS中的消息并进行日志处理
   • 2.判断中间桶的目录文件夹分区是否存在，不存在就创建
   • 3.把处理好的日志上传到中间桶对应的目录分区并删除已处理完的消息

   功能二：

   • 1.获取SQS中的消息到中转桶下载文件
   • 2.判断目标桶的目录文件夹分区是否存在，不存在就创建
   • 3.下载完整文件后打包合并上传至目标桶并删除消息
5. Lambda : 发送需要处理的日志小时数到SQS中
6. S3目标桶：存储打包好的CDN日志文件

实现的效果

• Lambda : 发送需要处理的日志小时数到SQS中

• S3目标桶：存储打包好的CDN日志文件