Pig和Sqoop在大数据领域

Pig早是雅虎公司的一个基于Hadoop的并行处理架构，后来由Apache来负责维护，Pig是一个基于Hadoop的大规模数据分析平台。Sqoop专为大数据批量传输设计，能够分割数据集并创建Hadoop任务来处理每个区块，可以结构化数据导入到Hadoop分布式文件系统或Hive和HBase系统。