云计算与大数据环境下的数据集成

 随着企业业务的增长,伴随企业各类应用系统逐步启用,结果导致数据量几何级数的增长,传统的整合数据的方式正在受到挑战,于此同时,云计算及网上应用在企业内部产生各类结构化、非结构化数据,这些数据所蕴含的信息(尤其是非结构化数据)是传统分析工具无法捕捉的。本文主要阐述在企业信息化过程中,数据整合的能力建设所需要考虑的一些关键问题。

创新互联建站于2013年成立,是专业互联网技术服务公司,拥有项目网站设计制作、成都网站建设网站策划,项目实施与项目整合能力。我们以让每一个梦想脱颖而出为使命,1280元洪江做网站,已为上家服务,为洪江各地企业和个人服务,联系电话:18982081108

从根本来说,企业信息化的目的是为了降低沟通成本、提高工作效率、增强科学决策能力,从手段上是将分散、无序、无时效的数据变成有序、可分享、有时效、可追溯的数据,前者数据过渡到后者数据,就是无信息(或不可信信息)变成可信信息的过程。数据蕴含的信息有两类:1、交易信息,即某一条/或几条数据本身所包含的信息;2、统计信息,即数据集合所蕴含的规律性信息。下图表现了交易数据与统计数据的关系和传统架构方法,即ETL模型。

传统整合基本上是基于ETL模式,即从企业内部的信息系统中抽取(Extract),然后根据预先定义的方式转换(Transform),最后载入到企业的数据仓库(Load),大部分企业的ETL程序定义在每天晚上运行,这类的方法有以下问题:

1、数据仓库的数据不是实时的信息

2、如果内部信息系统数据量很大,ETL处理时间不可能按时完成。

3、数据仓库的信息无法快速反馈数据到基层处理商务的人员,图示1中红色打叉的部分。

4、ERP本身在多年数据积累后,事务处理与订单查询都会变慢。

5、无法处理大数据,ETL的整个数据处理过程都是建立在已知/预定义的模型之上的,也就是ETL无法发掘到数据集蕴含的未知规律。

a)结构化大数据,除上述第2点外,针对大数据的深度挖据分析能力(非简单根据预先设计的模型做数据转换),传统的系统架构中是无法完成的。

b)非结构化、半结构化大数据。非架构化数据从本质上来讲,是企业无法预先定义规则的数据类型,据IDC的一项调查报告中指出:企业中80%的数据都是非结构化数据,这些数据每年都按指数增长60%.传统的方式是无法计算统计非结构化大数据包含的新类型统计信息。

根据上述问题,企业信息系统的数据整合的目标需要满足以下条件:

1、提高数据的质量

低质量的数据带来的问题:

1.1统计数据会有误导,误导的数据直接结果很可能是企业战略决策错误。

1.2基层人员工作效率低下。由于基层人员不信任数据,就会产生额外的工作去核对并验证。由于数据不准确也会产生更多的操作性错误,如:发货地址错误,货款核对产生歧义等。这些都会带来大量的额外工作,根据2/8原理,80%的额外工作都缘于20%的错误。

1.3无法根据信息系统记录做更多的分析统计,如6 Sigma类似的项目将无数据基础,项目无法推进。

2、数据安全:由于各类中间件的应用、云计算集成环境的广泛普及,数据源需要提供更广泛的数据输出的能力,与此同时,数据保护能力需要更加完善,传统在应用软件层面的保护方式是无法满足此类需求的。保护数据需要考虑:传输加密和身份认证。

3、与“云计算”的集成能力:在云计算环境里,无论是基础数据还是交易数据,将不仅限于某一种应用系统中使用,甚至数据很可能需要跨越公司的防火墙,与外部的云计算环境集成。

4、大数据能力:举个典型的例子,企业使用web日志、社交媒体(social media,如微博)数据分析大量客户的偏好,同时使用企业与客户已经成交的交易记录,建立更好的预测模型,更直接有效的市场推广或更好的客户体验。而上述的web日志和社交媒体的数据都是非结构化的大数据。

5、高性能/满足实时的要求:举个典型的贸易公司为例,该公司需要根据客户以往的信用记录决定是否订货或发货,如果没有实时统计能力,此类的商业模型在执行起来会困难重重。越来越多的企业希望将部分的决策过程下放到执行层面的基层,基层的决策需要实时的统计结果、可追溯的决策结果。

当前标题:云计算与大数据环境下的数据集成
转载来源:https://www.cdcxhl.com/article32/soojsc.html

成都网站建设公司_创新互联,为您提供网站建设静态网站全网营销推广网站设计公司外贸建站定制网站

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

成都定制网站网页设计