当前位置: 首页 > 网络应用技术

Hadoop MapReduce的基本用途

时间:2023-03-06 16:27:28 网络应用技术

  HDFS创建目录

  上传到HDFS

  方法一:

  方法两个:

  复制到项目目录

  Linux结束执行方法

  1.包装项目,例如:WordCount.Jar,并上传Linux服务器

  2. Linux服务器执行:

  窗口的本地化执行

  1.复制,等待hadoop配置文件到项目目录

  2。

  玩罐子

  在Internet上管理的内存资源还不够,修改,设置资源大小

  修改,威尔

  变成

  准备sort.txt

  代码包装上传和执行

  。

  通过上下文上下文对象,使用Countor统计图阶段读取了多少数据

  通过枚举类型定义计数器

  通过枚举,统计阅读器阶段读取了多少数据

  组合仪是每个MAPTASK输出的合并,以减少地图和减少节点之间的数据传输以改善网络IO性能

  自定义组合仪,继承还原器,并重写Realding方法

  单词统计的未使用规则

  将规则用于单词统计

  原始:https://juejin.cn/post/7097121027850764319