大数据是对海量数据进行存储计算统计分析和处理的一系列处理方法处理的数据量通常是TB级，甚至PB或EB级的数据，可以 传统的数据处理方法无法完成它涉及到分布式计算高并发处理高可用性处理集群实时计算等汇；大数据有三个主要部分，分别是数学，统计学和计算机等学科大数据基础知识往往决定了开发人员未来的成长高度，所以要重视基础知识的学习大数据平台是对海量结构化非结构化半机构化数据进行采集存储计算统计分析处理；五大数据数据采集阶段 大数据数据采集阶段需掌握的技术有PythonScala1Python与数据分析 Python是面向对象的编程语言，拥有丰富的库，使用简单，应用广泛，在大数据领域也有所应用，主要可用于数据采集数据分析以及数据。

大数据分析的具体内容可以分为这几个步骤，具体如下1数据获取需要把握对问题的商业理解，转化成数据问题来解决，直白点讲就是需要哪些数据，从哪些角度来分析，界定问题后，再进行数据采集这样，就需要数据分析师具备；数据库采集流行的有Sqoop和ETL，传统的关系型数据库MySQL和Oracle 也依然充当着许多企业的数据存储方式当然了，目前对于开源的Kettle和Talend本身，也集成了大数据集成内容，可实现hdfs，hbase和主流Nosq数据库之间的数据同步。

根据MapReduce产生数据的应用系统分类，大数据的采集主要有4种来源管理信息系统Web信息系统物理信息系统科学实验系统2数据存取大数据的存去采用不同的技术路线，大致可以分为3类第1类主要面对的是大规模的结构。

大数据主要学什么内容如下大数据技术专业属于交叉学科以统计学数学计算机为三大支撑性学科生物医学环境科学经济学社会学管理学为应用拓展性学科此外还需学习数据采集分析处理软件，学习数学建模软件及。

大数据课程，包括大数据技术入门，海量数据高级分析语言，海量数据存储分布式存储，以及海量数据分析分布式计算等部分，Linux，Hadoop，Scala， HBase， Hive， Spark等等专业课程如果要完整的学习大数据的话，这些课程都是必不可少；对于本科阶段选择大数据专业的同学来说，要想提升自身的就业竞争力，可以从以下几个方面入手第一选择一个主攻方向大数据专业虽然学习的内容比较多，但是本科阶段的专业性并不算太强，如果学生没有一个主攻方向，很容易。