1、回答阿里 我们总说阿里爸爸怎么怎么强,淘宝赚的怎么怎么多,但是阿里的技术为什么这么强,淘宝怎么做的这么好,你又知道么?在近期的2017杭州云栖大会阿里云大数据计算服MaxCompute专场上,阿里巴巴通用计算平台负责人资深专家观滔;虽然具备海量数据处理能力,但在时效性上有明显滞后性,无法满足当前金融大数据实时计算需求以金融风控反欺诈为例,部署quot流计算引擎quot的通付盾风险监测预警平台能够基于海量风险数据,实时进行复杂风控模型及策略计算,高效输出风控;kafka Apache旗下的一个高性能,高吞吐量的分步式消息总线系统Storm 一个分布式的容错的实时计算系统使用Storm进行实时大数据分析Flink 可扩展的批处理和流式数据处理的数据处理平台,设计思想主要来源于HadoopMPP数据;而大数据服务平台则是一个集数据接入数据处理数据存储查询检索分析挖掘等应用接口等为一体的平台,然后通过在线的方式来提供数据资源数据能力等来驱动业务发展的服务计算机俗称电脑,是一种用于高速计算的电子计算。

2、还有一些大数据的计算平台是我网上找的,具体没细了解Google Dremel的开源版本Apache DrillNSA的Apache Nifi2014年12月份贡献给Apache基金会来自Cloudera公司开发的实时分析系统Impala受Google Dremel启发目前比较;hadoop mapreduce hdfs yarnhadoopHadoop 概念版本历史,HDFS工作原理,YARN介绍及组件介绍大数据存储阶段hbasehivesqoop大数据架构设计阶段Flume分布式ZookeeperKafka大数据实时计算阶段MahoutSpark;个完整的大数据平台应该提供离线计算即席查询实时计算实时查询这几个方面的功能hadoopsparkstorm无论哪一个,单独不可能完成上面的所有功能hadoop+spark+hive是一个很不错的选择hadoop的HDFS毋庸置疑是分布式文件;数据处理速度,数据种类1数据处理速度大数据平台能够实时或近实时处理数据,并以更快的速度提供反馈和洞察传统的数据管理模式需要长的时间来处理和分析数据,而大数据平台可以通过技术手段如分布式计算和实时流处理,更高效。

3、Storm 同样来自Apache的Storm是另一款伟大的实时计算系统,能够极大强化无限数据流的处理效果其亦可用于执行多种其它与大数据相关的任务,具体包括分布式RPC持续处理在线机器学习以及实时分析等等使用Storm的另一大优势在于。