三者是相互独立的 Hadoop是集成了yark，hdfsMapReduce三大组件的框架 Spark是一个优秀的基于内存的计算框架，可以独立使用，也可以和Hadoop集成使用，可以使用Hadoop的yarn进行资源管理可以读写hdfs文件 Scala是一个基于jvm的编程语言，Spark里面有一部分源码是用Scala编写的。

Python语言Python是数据分析利器，使用Python进行科学计算可以提高效率，Python可以替代Excel进行更高效的数据处理 java语言Java是一门很适合大数据项目的编程语言，HadoopSparkStormFlinkFlumeKafkaSqoop等大数据框架和工具都是用Java编写的，因此，大数据会不可避免的使用到JavaScala语言Scala是。

scala应用场景1大数据，和为spark的shell编程提供了方便当然，spark也提供了Python，Java，R的 Api2也拥有数据计算的功能 3提供面向Web服务，可以和Java等相同的spring Web应用。

大数据的学习内容有很多，具体包括如下1大数据基础阶段LinuxDockerKVMMySQL基础Oracle基础MongoDBredis2大数据存储阶段hbasehivesqoop3大数据架构设计阶段Flume分布式ZookeeperKafka4大数据实时计算阶段MahoutSparkstorm5大数据数据采集阶段PythonScala6大数据。

如需学习大数据，推荐选择达内教育，大数据的基础课程有以下这些第一阶段大数据技术入门，前流行大数据技术，数据技术原理，并介绍其思想，介绍大数据技术培训课程，概要介绍第二阶段海量数据高级分析语言，Scala是一门多范式的编程语言，介绍Scala的函数，函数按名称调用，使用命名参数函数第。

编程语言编码与开发能力是大数据工程师的必备技能，要熟悉Python，CC++，Java，Perl，Golang或其它语言编码与开发能力是作为大数据工程师的重要要求，主要掌握JavaScalaPython三门语言，这在大数据当中非常关键对于大数据工程师而言，您至少要掌握以下技能一门JVM系语言当前大数据生态JVM系语言类。

Hadoop pand Hive为了迎合大量数据处理的需求，以java为基础的大数据开始了Hadoop为一批数据处理，发展以java为基础的架构关键，相对于其他处理工具，Hadoop慢许多，但是无比的准确可被后端数据库分析广泛使用，和Hive搭配的很好Scala另一个以java为基础的语言，和java很像，对任何想要进行大规模的。

大数据和编程之间有很大的关系编程是数据处理的基础大数据的处理需要使用编程语言来进行，例如Python，Java，Scala等编程支持大数据分布式存储和计算大数据处理经常需要在分布式环境中进行，编程语言支持这样的环境编程支持数据分析和挖掘大数据处理需要进行数据分析和挖掘，编程语言提供了很多工具和库来。

Kafka是一种高吞吐量的分布式发布订阅消息系统，其在大数据开发应用上的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息大数据开发需掌握Kafka架构原理及各组件的作用和使用方法及相关功能的实现！13Scala Scala是一门多范式的编程语言，大数据开发重要框架Spark。

Scala包和引入 继承Scala特质注解 类型参数Scala隐式转换Scala高级类型 Scala Akka实例实操 Spark基础解析 SparkCore SparkSQL SparkStreaming SparkGraphX应用解析Spark内核解析 Spark优化解析自学大数据比较困难，有条件还是选择尚 硅 谷大数据hadoop进行专业系统化学习。