为了节省磁盘空间,文件存储往往需要进行压缩,有的需要较大的压缩比,有的需要较快的压缩速度。对于一组计算结果的存储,比如多个MapReduce之间,需要支持分片压缩。lzop是一种可以支持分片的压缩方式,非常适合存储多个MapReduce之间计算的中间结果。1.在Hadoop上安装lzop,在hive上使用https://www.iteblog.com/archi...2.添加索引支持shardinglzop默认不支持sharding,需要添加索引。https://www.iteblog.com/archi...
