课程介绍
北科培训“Hadoop系统原理、开发与运维”培训班
主办单位：北京市北科信息处理公司
培训地点：中国 北京
培训时间：2014年5月16日—18日
【课程简介】
通过此课程的培训，学员可以了解大数据技术的发展方向并深入理解Hadoop技术架构、运作机制和使用场景，对于MapReduce程序开发有清晰全面的认识，可以开发测试Hadoop程序，以及独立规划、部署以及调试生产环境的Hadoop集群，并进行版本管理。课程还涵盖了对新一代大数据操作系统--YARN的深入介绍，帮助学员在企业大数据战略方向上体现自身价值。课程主要涵盖以下内容：Hadoop基础知识、HDFS和MapReduce基本原理和架构、HDFS配置和部署、Mapreduce开发、Hadoop 2.0 – YARN、大数据生态系统。
【讲师简介】
堵老师，知名外企资深架构师，中国大陆地区唯一Apache Hadoop项目的Committer，负责Hadoop相关代码的审查和变更。有多年云计算与大数据开发和实施经验，熟悉大数据领域各项技术和商业模式，并活跃于国内外重要的大数据会议和论坛。
【课程对象】
1. 各类 IT/软件企业和研发机构的技术总监、企业CIO；
2. 大数据系统工程师、软件架构师、软件设计师、高级软件工程师等；
3. 数据库开发人员、互联网产品后台开发人员；
4. 运维人员、数据分析师、软件测试人员。
【课程内容】
|
课题 |
课程内容 |
|
第一天：Hadoop基础知识、基本原理和部署 |
|
|
模块一 大数据和Hadoop入门 |
大数据Hadoop的前世今生 Hadoop经典应用案例 |
|
模块二 Hadoop基础知识 |
Hadoop与分布式系统 Hadoop扩展性分析 Hadoop基本模块 |
|
模块三 HDFS与MAPREDUCE基本原理与架构 |
HDFS架构与功能分析 HDFS读与写流程分析 HDFS守护进程分析 MapReduce基础知识 MapReduce基本功能分析 MapReduce架构分析与故障恢复 |
|
模块四 Hadoop集群管理与配置 |
Hadoop常见使用命令 Hadoop运维故障及解决 Hadoop常用工具 Hadoop集群安装和开启LZO压缩 Hadoop配置集群具备机架感知 Hadoop集群开启公平/能力任务调度器 |
|
模块五 Hadoop集群维护与管理 |
查看集群状态 HDFS数据管理 Mapreduce 任务管理 HDFS安全模式 Namenode,Jobtrack单点失效问题 添加删除节点 数据平衡 文件数据跨集群拷贝 集群升级 |
|
模块六 Hadoop集群规划、测试、监控与高可用 |
集群规划(硬件,系统,网络) 集群性能测试 使用Ganglia 监控Hadoop集群 使用Cacti 监控操作系统 Hadoop 元数据NFS备份方案 Hadoop SecondaryNameNode备份方案 |
|
第二天：Hadoop MapReduce开发 |
|
|
模块七 Hadoop MapReduce流程分析 |
Hadoop JobTracker 详解回顾 Hadoop TaskTracker 详解回顾 Hadoop 任务提交流程详解 |
|
模块八 使用 Hadoop MapReduce Streaming 编程 |
Hadoop Streaming 和 Java MapReduce API 差异。 学习使用 MapReduce 实现数据库功能,比如select group by join union all ) |
|
模块九 MapReduce分布式程序 |
MapReduce流程 剖析一个MapReduce程序 基本MapReduceAPI 概念 驱动代码 Mapper Reducer API 使用Eclipse进行快速开发 上机实验 新MapReduce API |
|
模块十 HDFS分布式文件系统编程 |
Hadoop HDFS 回顾 Hadoop NameNode 回顾 Hadoop DataNode 回顾 Hadoop I/O 操作 使用Hadoop HDFS API对HDFS编程 |
|
模块十一 Hadoop MapReduce高级编程和优化 |
ToolRunner介绍 使用MRUnit进行测试 利用Combiners来减少中间数据 使用Configure和Close方法来进行Map/Reduce设置和关闭 编写Partitioner来优化负载平衡 直接访问Hadoop分布式文件系统（HDFS） 使用分布式缓存（Distributed Cache） map优化 reduce优化 小文件优化 |
|
第三天：Hadoop 2.0 — YARN和大数据生态系统 |
|
|
模块十二 YARN基础知识与架构分析 |
下一代HADOOP – YARN介绍 YARN的主要模块分析 YARN的 RPC通信机制 YARN的 两级资源调度机制 YARN的 多应用支持 |
|
模块十三 YARN集群配置和MapReduce特性 |
YARN基础配置 脚本化部署与卸载 YARN配置文件 YARN高级配置 高可用性配置 机架感知 基于CPU, Memory资源的公平、能力调度器 MapReduce的兼容性分析 插件化Shuffle和排序 |
|
模块十四 YARN集群维护与管理 |
查看YARN集群状态 查看YARN高可用性状态 YARN任务管理与追踪 集群ResourceManager失效 添加删除节点 集群升级 任务历史服务器 集群安全认证 |
|
模块十五 Hadoop YARN二次开发 |
YARN Resource Manager API YARN客户端和Application Master 剖析Distributed Shell 总结不同应用的Application Master定制方案 |
|
模块十六 大数据生态系统 |
大数据与存储系统 大数据与线上系统 大数据与实时系统 大数据与数据仓库 大数据与内存计算 大数据与虚拟化 大数据与云计算 |
【注】：北信保留对以上课程信息（包括课程设置，课程内容和其他细节等）进行调整的权利，具体课程信息以实际上课为准。
【培训费用】
培训费：3980元/人，包括培训费、版资料费。培训期间免费提供午餐。可协助安排住宿，食宿费用自理。
【优惠政策】
1. 4月20日（含）之前报名且付款的学员可享受九折优惠；
2. 4月21日之后，5月10日之前报名且付款的学员可享受九五折优惠；
3. 3+1团报，同期班同单位3人报名且付款的团体，免费赠送1个学员名额；
4. 参加过往届北信培训班（不包含公开课）的学员享受八八折优惠。
（1，2，3，4的优惠不能同时使用，最终解释权归北信所有）
【温馨提示】
1. 名额有限，报满为止。我们将在报名后3个工作日内发送确认函，报名是否成功以收到我们的确认邮件为准;
2. 请自带笔记本电脑方便上机操作；
3. 已经成功付款的学员，若临时有事不能参加培训，请提前联系我们报退，可退还100%的培训费用；也可以转邀其他人代为参加；或者提交延期申请，推迟至下一期的培训。
【报名方式】
1. 或者填写报名回执表，将报名回执表以附件的形式发送到邮箱bktraining@163.com；
2. 报名咨询： 张老师 （咨询时间：周一至周五9:00-17:00）
3. 电话：010-57674188 手机：13466732145
4. 联系邮箱：bktraining@163.com
【付费方式】 现金、支票、银行转账汇款
账户名称：北京市北科信息处理公司
开户银行：北京银行健翔支行
账号：0109 1122 8001 2010 2013 270
汇款信息：Hadoop系统原理、开发与运维培训班
|
培训班报名回执 |
|||||||
|
姓名 |
|
性别 |
|
职务 |
|
||
|
身份证号 |
|
报名日期 |
|
||||
|
工作单位 |
|
||||||
|
研究方向 |
|
||||||
|
固定电话 |
|
手机 |
|
|
|
||
|
是否住宿 |
|
是否用餐 |
|
||||
|
备注 |
|
||||||
