已有函数

查看所有函数

  1. show functions;

查看函数定义和解释

  1. hive> desc function to_unix_timestamp;
  2. OK
  3. to_unix_timestamp(date[, pattern]) - Returns the UNIX timestamp
  5. hive> desc function extended to_unix_timestamp;
  6. OK
  7. to_unix_timestamp(date[, pattern]) - Returns the UNIX timestamp
  8. Converts the specified time to number of seconds since 1970-01-01.

自定义函数

Java实现

第一步：编写UDF，并编译成jar包

  1. package com.example.hive.udf;
  3. import org.apache.hadoop.hive.ql.exec.UDF;
  4. import org.apache.hadoop.io.Text;
  6. public final class Lower extends UDF {
  8.     // 可重载evaluate方法。
  9.     // evaluate方法不能返回void类型。可以返回null。
  10.     public String evaluate(final String s) {
  11.         if (s == null) {
  12.             return null;
  13.         }
  14.         return s.toLowerCase();
  15.     }
  16. }
  1. <dependency>
  2.   <groupId>org.apache.hadoop.hive</groupId>
  3.   <artifactId>hive-exec</artifactId>
  4.   <version>0.7.1</version>
  5.   <scope>provided</scope>
  6. </dependency>
  8. <build>
  9.     <plugins>
  10.       <plugin>
  11.         <artifactId>maven-assembly-plugin</artifactId>
  12.         <executions>
  13.           <execution>
  14.             <id>make-assembly-jar</id>
  15.             <phase>package</phase>
  16.             <goals>
  17.               <goal>single</goal>
  18.             </goals>
  19.             <configuration>
  20.               <finalName>${project.artifactId}</finalName>
  21.               <appendAssemblyId>false</appendAssemblyId>
  22.               <descriptorRefs>
  23.                 <descriptorRef>jar-with-dependencies</descriptorRef>
  24.               </descriptorRefs>
  25.             </configuration>
  26.           </execution>
  27.         </executions>
  28.       </plugin>
  29.       <plugin>
  30.         <groupId>org.apache.maven.plugins</groupId>
  31.         <artifactId>maven-compiler-plugin</artifactId>
  32.         <configuration>
  33.           <source>1.8</source>
  34.           <target>1.8</target>
  35.         </configuration>
  36.       </plugin>
  37.     </plugins>
  38.   </build>

第二步：将jar包加入Hive classpath

  1. hive> add jar /tmp/my_jar.jar;
  2. hive> list jars;
  4. -- hive0.13开始，可以在注册UDF时指定jar的位置
  5. CREATE FUNCTION myfunc AS 'SomeClass' USING JAR 'hdfs:///path/to/jar';

第三步：注册UDF

  1. CREATE TEMPORARY FUNCTION my_lower AS 'com.example.hive.udf.Lower';
  3. -- 从hive 0.13开始，也可以注册永久函数(可注册到当前db，也可指定db)
  4. CREATE FUNCTION my_db.my_lower AS 'com.example.hive.udf.Lower';

Python实现

第一步：编写脚本

  1. #!/usr/bin/python
  3. import sys
  5. for line in sys.stdin:
  6.     print line.lower()

第二步：添加文件

  1. ADD FILE /tmp/lower.py

使用：

  1. select transform(<columns>)
  2. using 'python <python_script>'
  3. as (<columns>)
  4. from <table>;
  6. select transform(t)
  7. using 'python lower.py'
  8. as (lowered_t string)
  9. from my_table;

两种实现方式比较

  • Java需要饮用包含Hive API的外部jar包，而Python无需引用外部包；
  • Java实现UDF后需打成jar包，Python直接上传脚本文件即可；
  • Java实现UDF，可以作用域一条记录的指定列数据，输出结果也可以直接在HiveQL的WHERE用作判断条件。Python实现的UDF，必须批量读取和输出指定列，不能方便地作用于某个列。