Apache Pig是一个用于处理大数据集的工具,与Hadoop结合使用,能执行数据处理操作Pig的主要语言是Pig Latin,用户通过编写Pig Latin脚本来分析数据,这些脚本内部转化为MapReduce任务执行Pig与MapReduce的关键区别在于,Pig提供了一种更高层次的数据处理抽象,而MapReduce则侧重于提供底层的计算框架Pig与。

大数据调度系统,是整个离线批处理任务和准实时计算计算任务的驱动器这里我把几个常见的调度系统做了一下分类总结,结合目前阿里云上的MaxCompute中的调度系统,做个对比Oozie是一个workflow工作流协调系统,是由Cloudera公司贡献给Apache的,主要用来管理Hadoop作业job统一调度hadoop系统中常见的mr任务。