【大数据入门核心技术-HBase】(九)Hbase协处理器coprocessor

发布时间:2025-12-09 20:22:44 浏览次数:5

目录

一、什么是协处理器

二、协处理器类型

1、Observer协处理器

2、Endpoint协处理器

三、协处理器加载的三种方式

1、Shell方式

1)上传HDFS

2) Shell 加载协处理器

3)验证是否加载协处理器

4)卸载协处理器

2、Api 加载

3、配置文件加载

1)修改配置文件:hbase-site.xml,配置项如下:

2)添加Jar包

3)重启HBase生效。

4)静态卸载


一、什么是协处理器

        在使用 HBase 时,如果你的数据量达到了数十亿行或数百万列,此时能否在查询中返回大量数据将受制于网络的带宽,即便网络状况允许,但是客户端的计算处理也未必能够满足要求。在这种情况下,协处理器(Coprocessors)应运而生。

        它允许你将业务计算代码放入在 RegionServer 的协处理器中,将处理好的数据再返回给客户端,这可以极大地降低需要传输的数据量,从而获得性能上的提升。同时协处理器也允许用户扩展实现 HBase 目前所不具备的功能,如权限校验、二级索引、完整性约束等。

二、协处理器类型

1、Observer协处理器

        Observer 协处理器类似于关系型数据库中的触发器,当发生某些事件的时候这类协处理器会被 Server 端调用。

Observer 协处理器有以下四种类型:

RegionObserver :
允许您观察 Region 上的事件,例如 Get 和 Put 操作。
RegionServerObserver :
允许您观察与 RegionServer 操作相关的事件,例如启动,停止或执行合并,提交或回滚。
MasterObserver :
允许您观察与 HBase Master 相关的事件,例如表创建,删除或 schema 修改。
WalObserver :
允许您观察与预写日志(WAL)相关的事件。

2、Endpoint协处理器

<property><name>hbase.coprocessor.region.classes</name><value>org.myname.hbase.Coprocessor.RegionObserverExample</value></property>

 WALObservers

<property><name>hbase.coprocessor.wal.classes</name><value>org.myname.hbase.Coprocessor.RegionObserverExample</value></property>

MasterObservers

<property><name>hbase.coprocessor.master.classes</name><value>org.myname.hbase.Coprocessor.RegionObserverExample</value></property> 如果想同时配置多个协处理器,可以用逗号分隔多个协处理器的类名。

2)添加Jar包

将您的代码放在HBase的类路径上。一种简单的方法是将jar(包含代码和所有依赖项)放入HBase的安装目录lib/中。

3)重启HBase生效。

4)静态卸载

  • 从hbase-site.xml中删除协处理器的元素,包括子元素。
  • 重启HBase。
  • 从类路径或HBase的lib/目录中删除协处理器的JAR文件。(可选)
需要做网站?需要网络推广?欢迎咨询客户经理 13272073477