HIVE中的自定義函式
hive預設的函式並不是太完整,以後我們使用的使用肯定需要自己補充一些。
下面這個例子是個簡單的測試,關於自定義函式的。
函式程式碼
package com.example.hive.udf;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.Text;
public final class Lower extends UDF {
public Text evaluate(final Text s) {
if (s == null) { return null; }
return new Text(s.toString().toLowerCase());
}
}
打包
javac -d Lower Lower.java
jar -cvf Lower.jar -C Lower/ .
在hive中新增包
hive> add jar /home/hjl/sunwg/Lower.jar;
Added /home/hjl/sunwg/Lower.jar to class path
在hive中建立函式
hive> create temporary function my_lower as ‘com.example.hive.udf.Lower’;
OK
Time taken: 0.407 seconds
使用函式
hive> select my_lower(name) from test10;
上面介紹了HIVE中的自定義函式,有一些函式是比較基礎的,公用的,每次都要create temporary function不免太麻煩了。
這樣的基礎函式需要直接整合到hive中去,避免每次都要建立。
1,新增函式檔案$HIVE_HOME/src/ql/src/java/org/apache/hadoop/hive/ql/udf/UDFSunwg.java
package org.apache.hadoop.hive.ql.udf;
import org.apache.hadoop.hive.ql.exec.Description;
import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
public final class UDFSunwg extends UDF {
public Text evaluate(final Text s) {
if (s == null) { return null; }
return new Text(s.toString().concat(“sunwg”).toLowerCase());
}
}
2,將函式sunwg註冊到hive的函式列表中
修改$HIVE_HOME/src/ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java檔案
import org.apache.hadoop.hive.ql.udf.UDFSunwg;
registerUDF(“sunwg”, UDFSunwg.class,false);
3,測試函式sunwg
hive> select sunwg(“abc”) from sunwg00 limit 1;
Total MapReduce jobs = 1
Launching Job 1 out of 1
Number of reduce tasks is set to 0 since there’s no reduce operator
Starting Job = job_201104091858_381437, Tracking URL =
Kill Command = /home/dwapp/hadoop/bin/../bin/hadoop job -Dmapred.job.tracker=hdpjt:9001 -kill job_201104091858_381437
2011-04-21 16:01:28,733 Stage-1 map = 0%, reduce = 0%
2011-04-21 16:01:34,123 Stage-1 map = 50%, reduce = 0%
2011-04-21 16:01:35,543 Stage-1 map = 100%, reduce = 0%
Ended Job = job_201104091858_381437
OK
abcsunwg
Time taken: 48.53 seconds
總結:在hive中新增函式是如此的簡單,建議將公共的基礎函式新增到hive中,而一些個性化的函式還是建立臨時函式。
來自 “ ITPUB部落格 ” ,連結:http://blog.itpub.net/26613085/viewspace-1130852/,如需轉載,請註明出處,否則將追究法律責任。
相關文章
- Hive中自定義函式Hive函式
- hive 3.0.0自定義函式Hive函式
- Hive常用函式及自定義函式Hive函式
- HIVE自定義函式的擴充套件Hive函式套件
- Hive--->建立自定義的UDTF函式Hive函式
- Hive函式(內建函式+自定義標準函式UDF)Hive函式
- Hive中配置與編寫自定義UDF函式Hive函式
- Oracle中自定義函式Oracle函式
- Hive中新增自定義函式(UDF)方法及實踐Hive函式
- SparkSQL -- 02 【SparkSQL檔案的讀取與落地,和Hive的整合,內建函式,自定義函式】SparkSQLHive函式
- 【hive】中的concat函式Hive函式
- shell自定義函式函式
- Oracle 自定義函式Oracle函式
- perl自定義函式函式
- GRDB自定義的純函式函式
- 在資料庫中自定義外部函式資料庫函式
- hive學習筆記之十:使用者自定義聚合函式(UDAF)Hive筆記函式
- MySQL建立自定義函式MySql函式
- python 自定義函式Python函式
- oracle 自定義聚合函式Oracle函式
- mysql自定義函式篇MySql函式
- 一個自定義函式函式
- Oracle自定義聚集函式Oracle函式
- ORACLE 自定義函式BUG?Oracle函式
- SQL SERVER 自定義函式SQLServer函式
- SQL 自定義函式FUNCTIONSQL函式Function
- stl中各種容器的自定義比較函式函式
- 動畫函式的繪製及自定義動畫函式動畫函式
- apiAutoTest:支援自定義函式,用例中可呼叫API函式
- sql中select列有自定義函式 dblinkSQL函式
- (9)mysql 中的儲存過程和自定義函式MySql儲存過程函式
- 函式索引使用細節——自定義函式的索引化函式索引
- PHP 自定義函式用法及常用函式集合PHP函式
- java自定義equals函式和hashCode函式Java函式
- mysql 自定義分析函式 least 及 日期函式MySql函式AST
- hive函式Hive函式
- laravel 自定義全域性函式Laravel函式
- Laravel 自定義函式存放位置Laravel函式