简单的介绍一下大数据中最重要的MapReduce

2021-02-06    分类: 网站建设

简单的介绍一下大数据中最重要的MapReduce
MapReduce执行流程图

概述

MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题。

MapReduce是分布式运行的,由两个阶段组成:Map和Reduce,Map阶段是一个独立的程序,有很多个节点同时运行,每个节点处理一部分数据。

Reduce阶段是一个独立的程序,有很多个节点同时运行,每个节点处理一部分数据。

使用

MapReduce框架都有默认实现,用户只需要覆盖map()和reduce()两个函数,即可实现分布式计算,非常简单。

这两个函数的形参和返回值都是,使用的时候一定要注意构造。

简单的介绍一下大数据中最重要的MapReduce

执行流程(此处举例说明)

  1. 一个文本(在HDFS上面保存,两个block)中每一个单词的出现的次数: 
  2.     hello you hello marry 
  3.     hello me really 
  4.             ----->block-1 
  5.              
  6.     hello kate ready 
  7.     xiao wang hello tomcat 
  8.             ----->block-2 

1.获取每一个block块中的文本,遍历所有,回去其中的一行str

因为要统计的是每一个单词i的次数,所以还需要直到文本中有哪些单词,可以根据字符串的特点,使用split()进行切割。

  1. String[] words=str.split(""); 

根据要求,需将每一个单词i转换为的形式,k为单词本身,v为单词出现的次数。

2.因为mr的计算是分布式的 ,每一个map(称之为一个mapper task)计算其中的一个block块数据。

  1. map阶段: 
  2.     输入<K1,V1> 
  3.         k1,偏移量,v1,当前行文本内容 
  4.         map()函数操作 
  5.     输出<K2,V2> 
  6.         k2,具体单词,v2,单词对应的统计项,比如次数 
  7.     输出<K2,V2> 
  1. shuffle阶段 
  2. 研究后发现,如果按照<key,1>这种方式向reduce输出数据的时候,会有 
  3. 大量的冗余数据。 
  4. 比如map阶段之后有5个hello,则输出<hello,1>,<hello,1>,<hello,1>, 
  5. <hello,1>,<hello,1>5次,实际上会对网络造成一定的压力,能不能对 
  6. 这5个<hello,1>进行一个进入reduce之前的本地组合?比如成为 
  7. <hello,5>或者<hello,[1,1,1,1,1]>. 
  8. 这个过程成为shuffle,洗牌重组阶段,达到上述的结果,称之为规约。 
  9. >>>shuffle阶段,也就是对map的输出进行重新洗牌: 
  10. 分区、分组、排序 
  11. <K2,V2>...===><K2,V2s> 
  1. reduce阶段 
  2. 接收map的输出结果<key,values> 
  3. 对这个结果进行汇总统计,针对values,进行简单的累加,计算得出key 
  4. 对应的次数 
  5. reduce针对一个key调用一次reduce()函数 
  6. =====>reduce 阶段 
  7. 输入<K2,V2> 
  8.     K2,就是map的输出的K2,V2s是map经过shuffle之后的结果集 
  9.     reduce()函数操作 
  10. 转化为<K3,V3>   

经过上述操作之后,系统会将计算结果输出给用户,一般会先存储(落地)到hdfs,然后反馈给用户。

到此为止,MapReduce执行完毕,接下来就可以进行大数据的其他一系列操作了。

网页名称:简单的介绍一下大数据中最重要的MapReduce
标题网址:https://www.cdcxhl.com/news39/99489.html

成都网站建设公司_创新互联,为您提供App设计静态网站电子商务网站导航移动网站建设企业网站制作

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

微信小程序开发