课程目标

通过学习本课程，您将能够:

  适用大数据体系内的云厂商解决方案

  在 EMR 环境中使用 Apache Hadoop

  了解 EMR 群集的组件

  启动并配置 EMR 群集

  利用 EMR 的常用编程框架，包括 Hive、Pig 和 Streaming

  利用 Hue 提高 EMR 的易用性

  在 EMR 上借助 Spark 使用内存分析

  选择适当的云厂商数据存储选项

  确定使用 Kinesis 以近乎实时的速度处理大数据的优势

  利用 Redshift 有效地存储和分析数据

  理解并管理大数据解决方案的费用和安全性

  保护大数据解决方案

  确定用于获取、传输和压缩数据的选项

  利用 Athena 进行临时查询分析

  借助 QuickSight 使用可视化软件描述数据和查询

  利用 Data Pipeline 编排大数据工作流

目标人群

本课程适用于:

 负责设计和实施大数据解决方案的人员，即解决方案架构师

 数据科学家和数据分析师有兴趣了解云厂商上大数据解决方案背后的服务和架构模式

先决条件

我们建议参加学习本课程的人员符合以下先决条件:

  基本熟悉大数据技术，包括 Apache Hadoop、MapReduce、HDFS 和 SQL/NoSQL 查询

  学员应完成 Big Data Technology Fundamentals 网络培训或具备同等经验

  具有核心云厂商服务和公有云实施工作经验

  学员应完成 Technical Essentials 课程或具备同等经验

  了解数据仓库、关系数据库系统和数据库设计基础授课方式

本课程将结合以下方式授课:

 讲师指导培训 (ILT)

 动手实验室

动手实践活动

本课程允许通过各种实践操作来试验新的技术并将所学知识应用到您的工作环境中

课程大纲

第1天

  大数据概述

  大数据获取和传输

  大数据流式处理和 Kinesis

  实验室 1:使用 Kinesis 流式处理和分析 Apache 服务器日志数据

  大数据存储解决方案

  大数据处理和分析

 实验室 2:使用 Athena 查询 S3 的日志数据

第2天

  Apache Hadoop 和 EMR

  实验室 3:在 DynamoDB 上存储并查询数据

  使用 EMR

  Hadoop 编程框架

  实验室 4:在 EMR 上利用 Hive 处理服务器日志

  EMR 上的 Web 界面

  实验室 5:在 EMR 上的 Hue 中运行 Pig 脚本

  EMR 上的 Apache Spark

  实验室 6:在 EMR 上使用 Spark 处理 NY Taxi 数据

第3天

  Redshift 和大数据

  大数据的可视化及编制

  实验室 7:使用 TIBCO Spotfire 可视化数据

  管理大数据费用

  保护您的云厂商部署

  大数据设计模式