搭建本地執行Hadoop環境
本地環境 win7-64,idea2016,hadoop2.6.5,jdk1.7
1. 新建maven專案,根目錄下新建input目錄,output目錄。Hadoop的jar包裡找Wordcount 案例程式碼。
下載:https://download.csdn.net/download/qq_32443495/10758392
pom.xml
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<maven.compiler.source>1.7</maven.compiler.source>
<maven.compiler.target>1.7</maven.compiler.target>
</properties>
<dependencies>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>2.6.5</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>2.6.5</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-core</artifactId>
<version>2.6.5</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-jobclient</artifactId>
<version>2.6.5</version>
</dependency>
<dependency>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
<version>1.2.17</version>
</dependency>
</dependencies>
最終目錄結構
2. 新建一個Artifacts
3.Build 這個Artifacts
4.新建一個application main-class org.apache.hadoop.util.RunJar
5.
program arguments 三行分別是:
1.你剛才build那個jar 的目錄和jar名
2.開始新建的輸入路徑
3.開始新建的輸出路徑
相關文章
- 搭建一個本地 Laravel 執行環境Laravel
- PHP環境搭建以及完成本地執行PHP
- Hadoop 及Spark 分散式HA執行環境搭建HadoopSpark分散式
- 大資料技術之Hadoop(入門)第3章 Hadoop執行環境搭建大資料Hadoop
- 搭建go環境並執行Go
- Scala--執行環境搭建
- Hadoop2.7.5環境搭建Hadoop
- Hadoop+hive環境搭建HadoopHive
- docker本地環境搭建Docker
- Hadoop 系列(四)—— Hadoop 開發環境搭建Hadoop開發環境
- Linux/Go環境搭建, HelloWorld執行LinuxGo
- hadoop完全分散式環境搭建Hadoop分散式
- Hadoop 基礎之搭建環境Hadoop
- Hadoop環境搭建(二)分散式Hadoop分散式
- win10 asp執行環境搭建怎麼操作_win10如何搭建asp執行環境Win10
- googleoppiaPythonWeb程式設計執行環境搭建GoPythonWeb程式設計
- 【Hadoop】:Windows下使用IDEA搭建Hadoop開發環境HadoopWindowsIdea開發環境
- mac搭建hadoop開發環境(二)MacHadoop開發環境
- 淺談公司java開發執行環境搭建(ubuntu環境)JavaUbuntu
- 使用 Docker 搭建 Laravel 本地環境DockerLaravel
- babel本地編輯環境搭建Babel
- hadoop之旅2-centerOS7: 搭建分散式hadoop環境HadoopROS分散式
- Hadoop入門(一)之Hadoop偽分散式環境搭建Hadoop分散式
- flutter 基礎系列(一)—— 環境搭建執行Flutter
- 史上最詳細的Hadoop環境搭建Hadoop
- VSCode+Maven+Hadoop開發環境搭建VSCodeMavenHadoop開發環境
- 搭建以太坊本地開發環境開發環境
- 以太坊本地開發環境搭建開發環境
- 使用 Rainbond 搭建本地開發環境AI開發環境
- 使用 Docker 搭建本地開發環境!Docker開發環境
- Mac使用dinghy和laradock搭建php執行環境MacPHP
- 搭建軟體執行平臺以及IDE環境IDE
- Docker composer搭建Spring Cloud Alibaba 執行環境(二)DockerSpringCloud
- hadoop之旅7-centerOS7 : Hive環境搭建HadoopROSHive
- hadoop之旅10-centerOS7 : Flume環境搭建HadoopROS
- hadoop之旅1-centerOS7: 搭建java環境HadoopROSJava
- Hadoop叢集之 ZooKeeper和Hbase環境搭建Hadoop
- 快速搭建本地docker的開發環境Docker開發環境