您现在的位置是:课程

【赵强老师】Hive的自定义函数

2023-06-29 21:13课程 人已围观

Hive中为我们提供了很多的内置函数,但是在实际工作中,有些情况下hive提供的内置函数无法满足我们的需求,就需要我们自己来自定义函数。Hive自定义函数的本质其实就是一个Java类。我们可以在这个Java类中封装自己的业务逻辑,从而简化SQL。

这里我们还是通过一个原创视频来学习一下,如何去开发Hive的自定义函数。具体的步骤是什么?开发完成以后,如何去部署和调用Hive的自定义函数。

创建Hive的UDF的步骤

  1. 编写java类,继承UDF,注意方法名需要覆盖evaluate方法

  2. 打成jar包上传到Linux

  3. 启动hive后进行关联

  4. 创建函数

    create temporary function test as "类的全路径";
    as之后是你编写的类的全限定名称

  5. 删除临时函数 drop temporary function xxx;

 

UDF分为三种,分别如下:

  1. UDF(User-Defined-Function),一进一出(输入一行,输出一行),比如:upper()、lowser()等。

     

  2. UDAF(User-Defined Aggregation Funcation),多进一出(输入多行,输出一行),比如:avg()、sum()等。

     

  3. UDTF(User-Defined Table-Generating Functions),一进多出(输入一行,输出多行),比如:collect_set()、collect_list()等。


 

上一篇:ETL

下一篇:Python爬虫大数据采集与挖掘

-->

站点信息

  • 文章统计篇文章