运行Hadoop中MapReduce自带的WordCount程序

发布时间:2023年12月25日

执行wordcount程序(词频统计)

  • 创建目录,保存MapReduce的输入文件
hadoop fs -mkdir /wcinput
  • 创建目录,保存MapReduce的输出文件
hadoop fs -mkdir /wcoutput

因为Hadoop要求输出文件夹不能存在,所以这只是空文件夹,在执行时再确定输出文件夹,如/wcoutput/output1
在这里插入图片描述

  • 创建一个文本文件,并上传到保存输入文件的文件夹中
    在这里插入图片描述
    在这里插入图片描述
  • 运行WordCount程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcoutput/output1

在这里插入图片描述

  • 本地查看结果(截取部分)
    在这里插入图片描述
  • 远程查看结果
    在这里插入图片描述
    在这里插入图片描述
    初学,犯了很蠢的错误,没有文件就开始运行程序,词频统计没有词怎么统计嘛
    在这里插入图片描述
文章来源:https://blog.csdn.net/L_Einsamkeit/article/details/132794565
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。