impala元数据自动刷新

发布时间:2024年01月12日

一.操作步骤

进入CM界面 > Hive > 配置 > 搜索 启用数据库中的存储通知(英文界面搜索:Enable Stored Notifications in Database),并且勾选,注意一定要勾选,配置后面的配置不生效。数据库通知的保留时间默认为2天,意味着如果事件通知没有更新超过2天事件将会丢失

二.hive配置参数

hive-site.xml 的 Hive Metastore Server 高级配置代码段(安全阀)

<property> <name>hive.metastore.notifications.add.thrift.objects</name> <value>true</value> </property> <property> <name>hive.metastore.alter.notifications.basic</name> <value>false</value> </propert如果你想在使用Spark和其他应用程序将数据插入现有表和分区时会生成事件,需要在hive-site.xml 的 Hive 服务高级配置代码段(安全阀)以及hive-site.xml 的 Hive 客户端高级配置代码段(安全阀)添加配置 y>

如果你想在使用Spark和其他应用程序将数据插入现有表和分区时会生成事件,需要在hive-site.xml 的 Hive 服务高级配置代码段(安全阀)以及hive-site.xml 的 Hive 客户端高级配置代码段(安全阀)添加配置

hive-site.xml 的 Hive 服务高级配置代码段(安全阀)

hive-site.xml 的 Hive 客户端高级配置代码段(安全阀)

都配置如下参数

<property> <name>hive.metastore.dml.events</name> <value>true</value> </property>

二.impala配置参数

Catalog Server 命令行参数高级配置代码段(安全阀)

--hms_event_polling_interval_s=2

文章来源:https://blog.csdn.net/anguoan/article/details/135552265
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。