根据学校的PPT自己学习后整理的笔记(实时更新)


1.了解Hadoop

1.1 Hadoop是什么?

  • 1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构
  • 2)主要解决,海量数据的存储和海量数据的分析计算问题。
  • 3)广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈

1.2 Hadoop发展历史

  • 1)Hadoop创始人Doug Cutting,为了实现与Google类似的全文搜索功能,他在Lucene框架基础上进行优化升级,查询引擎和索引引擎。
  • 2)2001年年底Lucene成为Apache基金会的一个子项目。
  • 3)对于海量数据的场景,Lucene框架面对与Google同样的困难,存储海量数据困难,检索海量速度慢
  • 4)学习和模仿Google解决这些问题的办法 :微型版Nutch。
  • 5)可以说Google是Hadoop的思想之源(Google在大数据方面的三篇论文)
markdown
GFS --->HDFS
Map-Reduce --->MR
BigTable --->HBase
  • 6)2003-2004年,Google公开了部分GFS和MapReduce思想的细节,以此为基础Doug Cutting等人用了2年业余时间实现了DFS和MapReduce机制,使Nutch性能飙升。
  • 7)2005 年Hadoop 作为 Lucene的子项目 Nutch的一部分正式引入Apache基金会。
  • 8)2006 年 3 月份,Map-Reduce和Nutch Distributed File System (NDFS)分别被纳入到 Hadoop 项目中,Hadoop就此正式诞生,标志着大数据时代来临。
  • 9)名字来源于Doug Cutting儿子的玩具大象

Hadoop三大发行版本:Apache、Cloudera、Hortonworks。 Apache版本最原始(最基础)的版本,对于入门学习最好。2006 Cloudera内部集成了很多大数据框架,对应产品CDH。2008 Hortonworks文档较好,对应产品HDP。2011 Hortonworks现在已经被Cloudera公司收购,推出新的品牌CDP。

2.Hadoop优势

  • 1)高可靠性:Hadoop底层维护多个数据副本,所以即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失。
  • 2)高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点。
  • 3)高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理速度。
  • 4)高容错性:能够自动将失败的任务重新分配。

3.Hadoop组成

3.1 Hadoop1.x、2.x、3.x区别

在Hadoop1.x时代,Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度,耦合性较大。 在Hadoop2.x时代,增加了Yarn。Yarn只负责资源的调度,MapReduce只负责运算。 Hadoop3.x在组成上没有变化。

层级Hadoop 1.x 组成Hadoop 2.x 组成
计算和资源调度MapReduce(计算+资源调度)🔵MapReduce(计算)🔴
YARN(资源调度)🔵
数据存储HDFS(数据存储)🟠HDFS(数据存储)🟠
辅助工具Common(辅助工具)🟢Common(辅助工具)🟢

3.2 Hadoop组成-HDFS

Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。

  • 1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表块所在的DataNode等。
  • 2)DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和
  • 3)Secondary NameNode(2nn)每隔一段时间对NameNode元数据备份

3.3 Hadoop组成-YARN

Yet Another Resource Negotiator简称YARN ,另一种资源协调者,是Hadoop的资源管理器。

  • 1)ResourceManager(RM):整个集群资源(内存、CPU等)的老大
  • 2)NodeManager(NM):单个节点服务器资源老大
  • 3)ApplicationMaster(AM):单个任务运行的老大
  • 4)Container:容器,相当一台独立的服务器,里面封装了任务运行所需要的资源,如内存、CPU、磁盘、网络等。

说明1:客户端可以有多个 说明2:集群上可以运行多个ApplicationMaster 说明3:每个NodeManager上可以有多个Container

3.4 Hadoop组成-MapReduce

MapReduce将计算过程分为两个阶段:Map和Reduce。(1)Map阶段并行处理输入数据(2)Reduce阶段对Map结果进行汇总

3.5 HDFS、YARN、MR三者关系

HDFS、YARN 和 MapReduce 是 Hadoop 生态系统的三大核心组件,它们各司其职又紧密协作,共同完成大规模数据的存储与计算任务。三者的关系可以概括为:

1. ​​HDFS(分布式文件系统) - 数据存储层​

  • ​角色​​:Hadoop 的存储基石
  • ​功能​​:
    • 分布式存储原始数据(如日志、视频等)
    • 通过数据分块(Block)和副本机制实现高容错
    • 为 MapReduce 提供数据本地化(Data Locality)支持
  • ​协作关系​​:
    • 存储 MapReduce 的输入数据和计算结果
    • YARN 调度任务时会优先选择存有相关数据的节点(就近计算)

2. ​​YARN(资源管理器) - 资源调度层​

  • ​角色​​:Hadoop 的"操作系统"
  • ​功能​​:
    • 统一管理集群资源(CPU、内存等)
    • 协调多个计算框架(如 MapReduce、Spark 等)共享资源
    • 通过 ResourceManager 和 NodeManager 实现动态资源分配
  • ​协作关系​​:
    • 为 MapReduce 作业分配 Container(容器)资源
    • 监控 MapReduce 任务执行状态
    • 依赖 HDFS 存储作业的临时文件和日志

3. ​​MapReduce(计算框架) - 计算层​

  • ​角色​​:基于批处理的分布式计算模型
  • ​功能​​:
    • 通过 Map 和 Reduce 两个阶段处理数据
    • 自动处理故障恢复和任务重试
  • ​协作关系​​:
    • 从 HDFS 读取输入数据,计算结果写回 HDFS
    • 通过 YARN 申请资源运行 MapTaskReduceTask
    • 利用 HDFS 的数据本地化特性减少网络传输

三者的协作流程示例(以单词统计为例):

  1. ​存储阶段​​:文本文件存入 HDFS,被自动切分为多个 Block(如 128MB/块)
  2. ​资源申请​​:MapReduce 程序向 YARN 的 ResourceManager 提交作业请求
  3. ​任务调度​​:
    • YARN 选择存储相关数据块的 NodeManager 启动 MapTask(数据本地化)
    • 分配 Container 资源运行 ReduceTask 进行汇总
  4. ​结果存储​​:最终统计结果写回 HDFS

架构演进对比:

版本架构特点
Hadoop 1.xMapReduce 同时负责计算和资源调度,与 HDFS 直接交互,存在单点瓶颈
Hadoop 2.x引入 YARN 实现资源调度与计算分离,MapReduce 仅专注计算,扩展性显著提升

总结关系:

  • ​HDFS​​ 是地基(存储)
  • ​YARN​​ 是脚手架(资源协调)
  • ​MapReduce​​ 是建筑工人(计算)
    三者共同构建起 Hadoop 大数据处理的完整解决方案,其中 YARN 的引入使 Hadoop 从单一计算框架升级为支持多计算范式(如 Spark、Flink)的资源平台。

3.6 大数据技术生态体系(不全 建议看PPT)