怎樣將hadoop自帶的wordcount發(fā)布到集群上運行
怎樣將hadoop自帶的wordcount發(fā)布到集群上運行
接著,在input目錄下創(chuàng)建兩個文本文件file1.txt和file2.txt,分別輸入如下內容。file1.txt的內容為“hello word”。file2.txt的內容為“hello mapreduce”和“hello hadoop”(注意,這兩行內容是分兩行輸入的)。使用命令檢查文件內容,可執(zhí)行如下操作。cat /home/kcm/input/file1.txt。cat /home/kcm/input/file2.txt。在Hadoop分布式文件系統(tǒng)(HDFS)中創(chuàng)建一個名為wc_input的目錄,并將本地input目錄中的文件上傳到該目錄下,可以使用以下命令。hadoop fs -mkdir wc_input。
導讀接著,在input目錄下創(chuàng)建兩個文本文件file1.txt和file2.txt,分別輸入如下內容。file1.txt的內容為“hello word”。file2.txt的內容為“hello mapreduce”和“hello hadoop”(注意,這兩行內容是分兩行輸入的)。使用命令檢查文件內容,可執(zhí)行如下操作。cat /home/kcm/input/file1.txt。cat /home/kcm/input/file2.txt。在Hadoop分布式文件系統(tǒng)(HDFS)中創(chuàng)建一個名為wc_input的目錄,并將本地input目錄中的文件上傳到該目錄下,可以使用以下命令。hadoop fs -mkdir wc_input。
在Linux系統(tǒng)中,首先需要創(chuàng)建一個目錄用于存放輸入文件,比如在/home/kcm下創(chuàng)建一個名為input的目錄。接著,在input目錄下創(chuàng)建兩個文本文件file1.txt和file2.txt,分別輸入如下內容:file1.txt的內容為“hello word”;file2.txt的內容為“hello mapreduce”和“hello hadoop”(注意,這兩行內容是分兩行輸入的)。使用命令檢查文件內容,可執(zhí)行如下操作:cat /home/kcm/input/file1.txtcat /home/kcm/input/file2.txt在Hadoop分布式文件系統(tǒng)(HDFS)中創(chuàng)建一個名為wc_input的目錄,并將本地input目錄中的文件上傳到該目錄下,可以使用以下命令:hadoop fs -mkdir wc_inputhadoop fs -put /home/kcm/input/file* wc_input通過查看命令可以確認文件上傳情況:/hadoop fs -ls wc_input接下來,需要在Windows系統(tǒng)中打包wordcount程序,生成一個名為wordcount.jar的文件,并將其復制到Linux系統(tǒng)中的指定目錄,例如/home/kcm。最后,在Linux系統(tǒng)中執(zhí)行以下命令來運行wordcount程序:hadoop jar wordcount.jar /user/hadoop/wc_input /user/hadoop/output
怎樣將hadoop自帶的wordcount發(fā)布到集群上運行
接著,在input目錄下創(chuàng)建兩個文本文件file1.txt和file2.txt,分別輸入如下內容。file1.txt的內容為“hello word”。file2.txt的內容為“hello mapreduce”和“hello hadoop”(注意,這兩行內容是分兩行輸入的)。使用命令檢查文件內容,可執(zhí)行如下操作。cat /home/kcm/input/file1.txt。cat /home/kcm/input/file2.txt。在Hadoop分布式文件系統(tǒng)(HDFS)中創(chuàng)建一個名為wc_input的目錄,并將本地input目錄中的文件上傳到該目錄下,可以使用以下命令。hadoop fs -mkdir wc_input。
為你推薦