我很高兴地宣布,ApacheHadoop社区发布了ApacheHadoop2.6.0!特别是,我们对这个版本中的三个主要部分感到兴奋:HDFS中使用SSD和内存层的异构存储,支持YARN中的长期运行服务,以及滚动升级,这将在重新启动升级节点之前升级您的集群软件,而无需关闭集群或丢失正在进行的工作。由于YARN处于其架构的中心,Hadoop继续吸引新的引擎在数据平台中运行,因为组织希望将数据有效地存储在单个存储库中并同时以不同的方式与之交互。非常感谢在此版本上合作的所有贡献者和提交者,总共解决了四个领域的近900个JIRA问题:HadoopGeneral:解决了231个JIRA问题HadoopHDFS:解决了305个JIRA问题HadoopYARN:解决了290个JIRA问题HadoopMapReduce:70个已解决的JIRA问题ApacheHadoop2.6.0亮点以下是有关最重要功能的一些详细信息。有关功能、改进和错误修复的完整列表,对异构存储层的增强支持使HDFS管理员能够跨越定义的数据节点内的磁盘存储层,以及可供应用程序使用的API将数据存储到这些不同的存储层中。这意味着管理员可以优化他们的应用程序以使用Hadoop运行:在SSD存储层上以改善读/写延迟内存存储层用于快速读/写临时数据或故障应用程序(例如Spark、TEZ等)归档存储层,提高存储效率。对YARNA中长期运行服务的支持ApacheHadoop2.6.0包括对核心ApacheHadoopYARN平台的增强,使长期服务(例如ApacheStorm、ApacheSamza、ApacheKafka或ApacheHBase)能够在YARN中运行并采取充分利用其容错性、安全性和易维护性等优点。ApacheHadoop的原始架构支持数据的批处理。但有些应用程序“始终在线”,随时准备处理传入的数据。例如,ApacheStorm必须准备好在一天中的任何时间、一年中的任何一天实时处理数据流。借助Hadoop2.6.0,集群现在可以利用相同的基础架构来调度、执行和管理所有持续时间的多个工作负载。Storm和HBase等长期服务可以和平共存,用于特定时间点的临时作业应用程序(如ApacheHive或ApachePig)。滚动升级在YARN中工作以保留重新启动新作业,维护重新启动功能允许应用程序在节点故障或重新启动时保持其完整和正在进行的状态。YARN现在可以为正在运行的应用程序升级提供滚动支持,同时将服务质量降级降至最低。已完成或正在进行的应用程序工作人员在节点重新启动和进度恢复时持续存在,而无需从头开始重新启动所有任务。展望ApacheHadoop2.7版本,下一个版本ApacheHadoop的主要驱动力是向JDK7+迈进,也就是我们现在要求使用JDK7的ApacheHadoop也支持JDK8作为运行时。ApacheHadoop社区的其他重要活动包括:HDFS中的纠删码支持-HDFS-7285支持磁盘YARN调度和隔离资源-YARN-2139容器资源委派以扩展YARN资源管理-YARN-1488像往常一样,您可以沿着开发,请遵循ApacheHadoop跟踪路线图wiki。致谢非常感谢为此版本做出贡献的每个人,以及整个ApacheHadoop社区。原文来自:http://blog.csdn.net/yangzhenping/article/details/41800691
