？作者：“大数据小禅”
？简介：本文是Hadoop3.x集群详细过程的简介，并进行了屏幕截图和消费者测试
？欢迎朋友喜欢吗？，收藏，消息？不断创造并加速增长！这是我参加“掘金每日计划·六月挑战”的第三天，单击以查看活动的详细信息。
Hadoop是Apache Foundation的开源，是一个分布式存储和计算平台。目前，Hadoop已更新为3.x上方的版本，该版本与Hadoop2.x，Hadoop3相比，它增加了更多的开发功能。
如何选择Hadoop版本？
帧版本的选择通常需要考虑其他大数据组件之间的项目依赖性。建议选择由本年度上半年发布的最新版本发布的版本。由于最新版本的Hadoop可能会遇到某些凹坑，因此使用一些测试版本更合适。此处使用的版本是Hadoop3。1.3.根据您的集群，建议计划集群之间的群集，以促进随后的扩展和调试。
您可以参考下面的群集计划表：
HDFS Namenode，DataNode DataNode DataNode，SecondaryNamenode Yarn NodeManager ResourceManager，NodeManager NodeManager需要在构建群集之前准备三台机器。第encethe前环境主要是机器之间的秘密，是机器的固定，静态IP和主机名的修改。特定的配置可以参考构建的Hadoop2早期发布的文章。
与以前的配置Hadoop2不同，这段时间的构建还配置了艺术服务器和日志的收集。应用程序运行后，将运行日志信息的程序上传到HDFS System.LOG Chectaing.Log Chectioning可以轻松地检查程序操作详细信息并促进开发的开发和调试。电影的配置可以促进查看程序的历史操作，并且您需要配置电影服务器。
配置文件的路径是hadoop-3.1.3/etc/hadoop，它主要修改以下文件并添加相关的配置。
Core-Site.xml
hdfs-size.xml
纱线site.xml
mapred-site.xml
工人
修改配置文件后，您需要将Hadoop安装软件包分配给其他群集。在开始之前，您需要在主节点处。这是node1格式命令hdfs namenode -format。
在Node1上运行Sbin/start-dfs.sh之后，请注意此处的一件事是Sbin/start-yarn.sh。您需要启动使用ResourceManager配置的节点，该节点在Node2中启动。开始完成后，您可以看到相应的过程。
通常，Hadoop3的访问端口号和配置将与Hadoop2不同。有兴趣的朋友还可以尝试构建每个版本。将来，将建立和总结大数据中的常见组件，以避免在环境中安装一些学生太多时间。
原始：https：//juejin.cn/post/7103774980709711879