hadoop一----我对hadoop的理解-创新互联

大数据：海量数据

创新互联主营雅安网站建设的网络公司,主营网站建设方案,手机APP定制开发,雅安h5小程序开发搭建,雅安网站营销推广欢迎雅安等地区企业咨询

结构化数据：即行数据，能够存储在二维表中的数据

非结构化数据：无法使用数据的二维逻辑表示数据。如word，ppt，图片

半结构化数据：在结构化与非结构化之间，自我描述，将结构与数据本身存储在一起的数据：xml、json、html

goole的论文：MapReduce：Simplified Date Processing On Large Clusters

                 Dynam

Map：把大数据映射为分割的多个节点处理的小数据

Reduce：折叠

        i1，i2 ==> o1,i3 ==>o2,i4==>o4

MapReduce:将大数据中映射为键值对

     数据的搜集，监控，分析，处理

hadoop： jobtracker、tasktracker，namenode，datanode

hadoop的的特性：

       （1）向外扩展

       （2）数据冗余

       （3）将程序移向数据

     （4）顺序处理数据，避免随机访问

     （5）向程序员隐藏系统级别的细节

     （6）平滑扩展

如何将大数据切割为多个可处理的小数据，如何将处理的结果合并

如何选择将任务移向多个不同的小数据所在的主机处理任务

如何获取被分割的小数据

如何保证个Map进程如何同步

Map如何将处理的结果传输给Reduce

如何在出现软件故障或硬件故障后保证任务的完整性

mapreduce：

  1.编程框架：API

  2.运行平台

  3.具体实现

hadoop：HDFS-->MapReduce（API，Java）

HDFS：

HDFS分布式集群 数据存储

1）HDFS

2）向HDFS分文件系统保存数据存储

MapReduce集群 数据处理  大文件

HBase，运行在HDFS之上  由zookeeper协调工作

           Hadoop DataBase

  通过zookeeper使hadoop能够存储单个小文件，实现随机存储

  NoSQL

               colum：列式存储

              存储松散型数据，基于键值对的列式存储

                将单个小文件合并为大文件

                 bigtable：大表

ETL

      数据的抽取、转换、加载

日志搜集：

               flume

               scrible

               chukwa

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。

标题名称：hadoop一----我对hadoop的理解-创新互联
文章URL：https://www.cdcxhl.com/article48/cddsep.html

成都网站建设公司_创新互联，为您提供搜索引擎优化、网站改版、品牌网站制作、定制网站、网站建设、网站制作

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联