MapReduce:计算单词的个数
admin
2023-07-30 14:40:07
0

1)启动环境 

 start-all.sh

2)产看状态

  jps

0613 NameNode

10733 DataNode

3455 NodeManager

15423 Jps

11082 ResourceManager

10913 SecondaryNameNode

3)利用Eclipse编写jar

  • 1.编写WordMap

  

public class MrMap  extends Mapper{

 

protected void map(Object key, Text value, Context context) {

String line= value.toString();

String[] words = line.split(" ");

for (String str : words) {

Text text=new Text(str);

IntWritable num=new IntWritable(1);

    try {

context.write(text, num);

} catch (Exception e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}

   };

}

  • 2.编写WordReduce类


public class WordReduce extends Reducer {


protected void reduce(Text text, Iterable itrs, Context context) {

int sum = 0;

for (IntWritable itr : itrs) {

sum = sum + itr.get();


}

try {

context.write(text, new IntWritable(sum));

} catch (IOException e) {

// TODO Auto-generated catch block

e.printStackTrace();

} catch (InterruptedException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}


};


}

  • 3.编写WordCount类

public class WordCount {


/**

* @param args

* @throws IOException

* @throws InterruptedException

* @throws ClassNotFoundException

*/

public static void main(String[] args) throws IOException {


Configuration conf = new Configuration();

FileSystem fs = FileSystem.get(conf);


Job job = null;

try {

job = Job.getInstance(conf);

job.setJobName("wc");

job.setJarByClass(WordCount.class);


job.setMapperClass(WordMap.class);

job.setReducerClass(WordReduce.class);


job.setMapOutputKeyClass(Text.class);

job.setMapOutputValueClass(IntWritable.class);


FileInputFormat.addInputPath(job, new Path("/word.txt"));

if (fs.exists(new Path("/out"))) {

fs.delete(new Path("/out"));

}

FileOutputFormat.setOutputPath(job, new Path("/out"));


System.exit(job.waitForCompletion(true) ? 0 : 1);

} catch  (Exception e) {

// TODO Auto-generated catch block

e.printStackTrace();

}


}


}

4)导出jar包

MapReduce:计算单词的个数


5)通过ftp上传jar到linux目录


6)运行jar包

 hadoop jar wc.jar   com.mc.WordCount   /     /out


7)如果map和reduce都100%,以及

MapReduce:计算单词的个数


表示运行成功!!

8)产看结果

hadoop fs -tail  /out/part-r-00000



相关内容

热门资讯

一次拔12颗牙?严防过度诊疗围... 澎湃特约评论员 柳早据媒体近日报道:去年9月,63岁心梗老人一颗牙疼,被陕西宝鸡大团圆口腔医院派车接...
明代国宝现TCL广告“破案”,... 据潇湘晨报报道,近日,正在北京中国工艺美术馆展出的“高原丝路 瞿昙之光——青海丝路文物与瞿昙寺壁画艺...
曾被中方制裁的荷兰大臣即将访华... 澎湃新闻记者 聂舒翼 朱郑勇7月6日,外交部发言人毛宁主持例行记者会。有记者提问,荷兰外贸与发展合作...
外交部:中国海军组织潜射战略导... 7月6日,外交部发言人毛宁主持例行记者会。在回答有关中国海军成功组织潜射战略导弹试射的问题时,毛宁表...
哈梅内伊葬礼游行现场人山人海,... 当地时间7月6日,伊朗已故最高领袖哈梅内伊的葬礼进入第三天,今天举行的是送葬仪式。不计其数的伊朗民众...
网红小孩成年后,全部反转了 没有哪一代人,比00后更适合“出名要趁早”这句话。就连24岁写下这句话的张爱玲,放在今天,也算不上成...
广西六蓝水库发生险情,坝体出现... 近日,受今年第10号台风“美莎克”影响,广西出现连续强降雨。当地发布洪水橙色预警;水利部、国家防总对...
洗衣机到脱水时就转为漂洗,这是... 1、可能是脱水桶内衣物放置不均匀,会导致洗衣机不平衡。这时,洗衣机会自动跳到放水,使洗衣机再次平衡。...
宇通获《人民日报》专题报道丨不... 6月28日,人民日报刊发深度文章,介绍宇通在墨西哥历经多年深耕,从单一出口商逐渐成长为深度本地化的交...
漂洗+脱水什么意思 “漂洗”和“脱水”是洗衣机或洗碗机等家电设备中的两个常见功能。“漂洗”是指在洗涤过程中,用清水对衣物...