【.com速译】Alluxio原名Tachyon,正在积极构建API解决方案,旨在帮助大数据应用通过统一连接更快的Ingress访问存储数据所在的系统。Alluxio的存储API支持AmazonS3、GoogleCloudStorage、OpenStackSwift、EMC和NetApp。迎来1.0版本的AlluxioAPI解决方案,可以帮助Spark、MapReduce、Flink、Presto等框架接入多种类型的存储系统。除了支持AmazonS3、GoogleCloudStorage、OpenStackSwift等云存储提供商外,EMC、NetApp等传统存储解决方案提供商也在支持名单中。从表面上看,Alluxio似乎属于类似于Memcached或Redis的内存缓存系统。但恰恰相反,它站在分布式计算应用和存储系统之间,通过提供统一的API帮助前者与后者顺利对接。应用程序可以使用Alluxio的API享受出色的访问速度,同时摆脱各种传统API(如HDFS实现机制)速度和兼容性性能差的问题。在本月早些时候的一篇博文中,英特尔工程师描述了Alluxio如何帮助他们解决使用大数据框架时的常见挑战,例如在不同应用程序之间共享数据。与将数据写入HDFS然后重新读取相比,用户现在可以将数据写入Alluxio的内存存储系统并更快地完成二次读取。同样,一直困扰Spark等大数据框架的JVM垃圾回收和堆缓存问题也可以通过Alluxio得到有效解决。IBM在Alluxio还处于Tachyon时代时就给出了类似的结论,称它可以将HDFS在内存中的写入速度提高110倍,同时“将端到端的真实工作流延迟降低到四分之一”原来的”。Alluxio还可以补充其他解决方案;例如,通过将ApacheArrow与适合现代CPU的应用程序格式连接起来,可以显着提高数据处理速度。Arrow所需的所有存储数据均由Alluxio提供。作为Tachyon的化身,Alluxio已经开始为多个大数据项目提供支持,Spark就是其中的典型代表。公司计划进一步为其他大数据项目和存储系统供应商打造更全面的支持能力。原文链接:大数据,但更快:API加速应用与存储之间的链接【译稿,合作网站转载请注明原译者和出处.com】
