大数据技术的体系庞大且复杂，基础的技术包含数据的采集数据预处理分布式存储数据库数据仓库机器学习并行计算可视化等1数据采集与预处理FlumeNG实时日志收集系统，支持在日志系统中定制各类数据发送方，用于。

而一些批处理，或者基于半结构化数据的需求可以使用Hadoop统计与分析这部分的主要特点和挑战是分析涉及的数据量大，其对系统资源，特别是IO会有极大的占用导入预处理 将这些来自前端的数据导入到一个集中的大型分布式。

通过大数据分析技术及工具将海量数据进行统计汇总后，以图形图表的方式进行数据展现，实现数据的可视化，在此基础上结合机器学习算法，对数据进行深度挖掘，发掘数据的潜在价值应用部分，大数据不仅包括企业内部应用系统的数据分析。

但是在大数据方面的性能有所缺陷，每次都是实时查询数据，如果数据量大，会卡顿大数据可视化系统四AntV AntV 是蚂蚁金服的大数据可视化系统，主要包含专注解决流程与关系分析的图表库 G6适于对性能体积扩展性要求。