Hive中配置與編寫自定義UDF函式

loveheping發表於2018-01-12
Hive函式
環境介紹：CentOS7+hive-1.1.0-cdh5.7.0+IntelliJ IDEA+Maven3.3.9
1、建立工程
   開啟IntelliJ IDEA
     File-->New-->Project...-->Maven選擇Create from archetye-->org.apache.maven.archety:maven-archetype-quitkstart

2、配置
  2.1、增加內容如下：
   在工程中找到pom.xml檔案中hadoop-common 、hive-exec 、hive-jdbc

點選(此處)摺疊或開啟

  1. <properties>
  2.     <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>


  5.     <!-- hadoop、hive版本資訊 -->
  6.     <hadoop.version>2.6.0-cdh5.7.0</hadoop.version>
  7.     <hive.version>1.1.0-cdh5.7.0</hive.version>
  8.   </properties>


  11.     <!-- hadoop依賴 -->
  12.     <dependency>
  13.       <groupId>org.apache.hadoop</groupId>
  14.       <artifactId>hadoop-common</artifactId>
  15.       <version>${hadoop.version}</version>
  16.     </dependency>


  19.     <!-- hive依賴 -->
  20.     <dependency>
  21.       <groupId>org.apache.hive</groupId>
  22.       <artifactId>hive-exec</artifactId>
  23.       <version>${hive.version}</version>
  24.     </dependency>
  25.   </dependencies>
  26.   
  27.   <!-- cdn資源倉庫 -->
  28.   <repositories>
  29.     <repository>
  30.       <id>cloudera</id>
  31.       <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
  32.     </repository>
  33.   </repositories>
  2.2、在<repository></repository>中修改內容如下：

點選(此處)摺疊或開啟

  1. <dependency>
  2.       <groupId>junit</groupId>
  3.       <artifactId>junit</artifactId>
  4.       <version>4.10</version>
  5.       <scope>test</scope>
  6.     </dependency>
3、建立類，並編寫一個UDF HelloUDF.java，程式碼如下：

點選(此處)摺疊或開啟

  1. package org.apache.hadoop.hive.ql.udf;


  4. import org.apache.hadoop.hive.ql.exec.UDF;
  5. import org.apache.hadoop.io.Text;


  8. public class HelloUDF extends UDF {
  9.     public Text evaluate(Text input) {
  10.         return new Text("Hello：" + input);
  11.     }


  14.     public static void main(String args[]){
  15.         HelloUDF helloUDF = new HelloUDF();
  16.         Text rs = helloUDF.evaluate(new Text("zhangsan"));
  17.         System.out.println(rs.toString());
  18.     }
  19. }
4、測試UDF類，在上又鍵選擇Run 'HelloUDF.main()'

5、打包：
   在IDEA選單中選擇view-->Tool Windows-->Maven Projects，然後在Maven Projects視窗中選擇【工程名】-->Lifecycle-->package，在package中右鍵選擇Run Maven Build開始打包
   執行成功後在日誌中找：
     [INFO] Building jar: D:\software\ruozedata_workspace\basic02-hive\target\hive-1.0.jar

若澤大資料交流群：671914634

來自 “ ITPUB部落格 ” ，連結：http://blog.itpub.net/31511218/viewspace-2150099/，如需轉載，請註明出處，否則將追究法律責任。

相關文章