为什么Flink会成为下一代大数据处理框架的标准？

01 什么是Flink?

在当前数据量激增传统的时代，不同的业务场景都有大量的业务数据产生，对于这些不断产生的数据应该如何进行有效地处理，成为当下大多数公司所面临的问题。

随着雅虎对Hadoop的开源，越来越多的大数据处理技术开始涌入人们的视线，例如目前比较流行大数据处理引擎Apache Spark，基本上已经取代了MapReduce成为当前大数据处理的标准。

但随着数据的不断增长，新技术的不断发展，人们逐渐意识到对实时数据处理的重要性，企业需要能够同时支持高吞吐、低延迟、高性能的流处理技术来处理日益增长的数据。

▲有状态计算架构

同时Flink支持高效容错的状态管理，Flink能够将其状态维护在内存或RockDB数据库中，为了防止状态在计算过程中因为系统异常而出现丢失，Flink周期性的通过分布式快照技术CheckPoints实现状态的持久化维护，使得在系统即使在停机或者异常的情况下都能正确的进行状态恢复，从而保证在任何时间都能计算出正确的结果。

数据架构的演变过程，伴随着技术的不断迭代更新，Flink具有先进的架构理念，以及诸多的优秀特性，以及完善的编程接口，而Flink也在每一次的Release版本中，不断推出新的特性。

例如Queryable State功能的提出，将直接容许用户通过远程的方式直接获取流式计算任务的状态信息，也就是说数据不需要落地数据库就能直接从流式应用中直接查询出，对于实时交互式的查询业务可以直接从Flink的状态中查询最新的结果，当然这个功能目前还属于Beta版本，但是相信在不久的未来，会变得越来越完善，那时Flink将不仅作为实时流式处理的框架，更多的可能会成为一套实时的存储引擎，会让更多的用户从有状态计算的技术中获取收益。

同时支持高吞吐、低延迟、高性能

Flink是一套集高吞吐，低延迟，高性能三者于一身的分布式流式数据处理框架。

非常成熟的计算框架Apache Spark也只能兼顾高吞吐和高性能特性，在Spark Streaming流式计算中无法做到低延迟保障;而Apache Storm只能支持低延迟和高性能特性，但是无法满足高吞吐的要求。而对于满足高吞吐，低延迟，高性能这三个目标对分布式流式计算框架是非常重要的。

支持事件时间(Event Time)概念

在流式计算领域中，窗口计算的地位举足轻重，但目前大多数计算框架窗口计算所采用的都是系统时间(Process Time)，也是事件传输到计算框架处理时，系统

基于轻量级分布式快照(Snapshot)实现的容错

Flink能够分布式运行在上千个节点之上，将一个大型计算的流程拆解成小的计算过程，然后将计算过程分布到单台并行节点上进行处理。

在任务执行过程中，能够自动的发现事件处理过程中的错误而导致数据不一致的问题，常见的错误类型例如：节点宕机，或者网路传输问题，或是由于用户因为升级或修复问题而导致计算服务重启等。

在这些情况下，通过基于分布式快照技术的Checkpoints，将执行过程中的任务信息进行持久化存储，一旦任务出现异常宕机，Flink能够进行任务的自动恢复，从而确保数据在处理过程中的一致性。

基于JVM实现独立的内存管理

内存管理是每套计算框架需要重点考虑的领域，尤其对于计算量比较大的计算场景，数据在内存中该如何进行管理，针对内存管理这块，Flink实现了自身管理内存的机制，尽可能减少Full GC对系统的影响。

另外通过自定义序列化/反序列化方法将所有的对象转换成二进制在内存中存储，降低数据存储的大小，更加有效的对内存空间进行利用，降低GC所带来的性能下降或者任务停止的风险，同时提升了分布式处理过数据传输的性能。

因此Flink较其他分布式处理的框架则会显得更加稳定，不会因为JVM GC等问题而导致整个应用宕机的问题。

Save Points(保存点)

对于7*24小时运行的流式应用，数据源源不断的接入，在一段时间内应用的终止都有可能导致数据的丢失或者计算结果的不准确性，例如进行版本的升级，停机运维操作等，都能导致这种情况发生。

然而值得一提的是Flink通过其Save Points技术能够将任务执行的快照(Snapshot)保存在存储介质上，等待任务重启的时候可以直接从实现保存的Save Points恢复原有的计算状态，使得任务继续按照停机之前的状态继续运行，Save Points技术可以让用户更好的管理和运维实时流式应用。

同时Flink除了上述的特性之外也具有其他非常优秀的特性，可以让用户有更多选择。Flink具备非常多的优秀特性，这不仅让Flink在社区的知名度越来越高，也吸引了众多的企业参与研发和使用Flink这项技术。

当前名称：为什么Flink会成为下一代大数据处理框架的标准？
URL标题：https://www.cdcxhl.com/news/101919.html

成都网站建设公司_创新互联，为您提供Google、自适应网站、用户体验、App设计、动态网站、ChatGPT

广告

声明：本网站发布的内容（图片、视频和文字）以用户投稿、用户转载内容为主，如果涉及侵权请尽快告知，我们将会在第一时间删除。文章观点不代表本网站立场，如需处理请联系客服。电话：028-86922220；邮箱：631063699@qq.com。内容未经允许不得转载，或转载时需注明来源： 创新互联