项目在私有云中使用CDH（ClouderaDistributionIncludingApacheHadoop）搭建Hadoop集群，用于大数据计算。作为微软的忠实粉丝，将CDH部署到WindowsAzure的虚拟机上是我的必然选择。由于CDH包含多个开源服务，所以虚拟机需要开放很多端口。WindowsAzure中虚拟机的网络是安全隔离的，所以在WindowsAzure中虚拟机的服务中创建多个虚拟机来安装Hadoop集群，最好的方案是为Hadoop集群创建一个虚拟网络，在虚拟网络资源和服务就像在虚拟私有云中互相访问，但与虚拟网络之外的其他资源隔离，从而实现安全。什么是CDH？CDH是ApacheHadoop和相关项目的发行版。CDH是100%Apache许可的开源软件，是唯一提供统一批处理、交互式SQL和交互式搜索以及基于角色的访问控制的Hadoop解决方案。在WindowsAzure上在WindowsAzure管理门户中创建虚拟网络，单击左下角的“新建”。在导航窗格中，单击网络，单击虚拟网络，然后单击自定义创建。在“虚拟网络详细信息”屏幕上，输入虚拟网络的配置信息，然后单击“下一步”箭头。此处输入的配置信息包括虚拟网络名称、亲和组区域和亲和组名称。AffinityGroups是一种在同一数据中心对WindowsAzure服务进行物理分组以提高性能的方法。一个地缘组只能分配给一个虚拟网络。设置DNSServer和VPNConnectivity，这一步不能跳过，创建好虚拟网络后需要的时候再设置。在“地址空间和子网”屏幕上，输入以下信息，然后单击“下一步”箭头。地址空间必须是CIDR表示法中指定的私有地址范围：10.0.0.0/8、172.16.0.0/12或192.168.0.0/16（由RFC1918指定）。在此示例中，起始IP选择为192.168.0.0。单击右下角的复选标记按钮，WindowsAzure将根据提交的配置创建您的虚拟网络。此时，您在WindowsAzure中有了一个虚拟网络，您可以在门户的虚拟网络选项卡上看到它。更详细的配置方法请参考WindowsAzure官方文档在WindowsAzure中创建虚拟网络。从WindowsAzure镜像库创建Linux虚拟机创建Linux虚拟机的步骤请参考WindowsAzure上的文档《创建运行 Linux 的虚拟机》http://www.windowsazure.cn/zh-cn/manage/linux/tutorials/virtual-machine-from-gallery/请注意，在“虚拟机配置”对话框的“REGION/AFFINITYGROUP/VIRTUALNETWORK”选项中，选择上一步创建的虚拟网络。本例中选择作者创建的虚拟网络“hadoopclusternetwork”。为虚拟机打开以下端口，即在虚拟机配置中设置以下Endpoints。为虚拟机启用端口7180(ClouderaManagerwebUI)8020,50010,50020,50070,50075(HDFSNameNodeandDataNode)8021(MapReduceJobTracker)8888(HuewebUI)9083(Hive/HCatalogmetastore)41415)(Flumeagent))11000(Oozieserver)21050(ImpalaJDBCport)用同样的方法创建多个虚拟机，组成基于Hadoop的集群。请注意，多个虚拟机使用同一个虚拟网络。在每台主机上安装CDH并配置/etc/hosts，关闭防火墙在root下执行以下命令，临时关闭防火墙打开）。chkconfigiptablesoffcloseSELinux$setenforce0如果需要永久关闭，编辑/etc/selinux/config，设置SELINUX=disabled，然后完成安装。更改cloudera-manager-installer.bin权限$chmodu+xcloudera-manager-installer.bin$./cloudera-manager-installer.bin然后，接受许可协议，回车和下一步，安装界面如下：开始ClouderaManagerAdminconsole通过ClouderaManagerAdminconsole，您可以配置、管理和监控集群上的Hadoop。WEB端的URL地址为：http://myhost.example.com:7180，myhost.example.com就是你安装Cloudera-Manager的地方-installer.bin的主机域名，当然也可以使用IP。比如我的WEBURL地址是：http://hcc1.cloudapp.net:7180。按照提示进行安装，安装成功界面如下图所示。原文链接：http://www.cnblogs.com/xuesong/p/3604080.html
