发布时间:2025-12-09 20:22:44 浏览次数:5
目录
一、什么是协处理器
二、协处理器类型
1、Observer协处理器
2、Endpoint协处理器
三、协处理器加载的三种方式
1、Shell方式
1)上传HDFS
2) Shell 加载协处理器
3)验证是否加载协处理器
4)卸载协处理器
2、Api 加载
3、配置文件加载
1)修改配置文件:hbase-site.xml,配置项如下:
2)添加Jar包
3)重启HBase生效。
4)静态卸载
在使用 HBase 时,如果你的数据量达到了数十亿行或数百万列,此时能否在查询中返回大量数据将受制于网络的带宽,即便网络状况允许,但是客户端的计算处理也未必能够满足要求。在这种情况下,协处理器(Coprocessors)应运而生。
它允许你将业务计算代码放入在 RegionServer 的协处理器中,将处理好的数据再返回给客户端,这可以极大地降低需要传输的数据量,从而获得性能上的提升。同时协处理器也允许用户扩展实现 HBase 目前所不具备的功能,如权限校验、二级索引、完整性约束等。
Observer 协处理器类似于关系型数据库中的触发器,当发生某些事件的时候这类协处理器会被 Server 端调用。
Observer 协处理器有以下四种类型:
RegionObserver :
允许您观察 Region 上的事件,例如 Get 和 Put 操作。
RegionServerObserver :
允许您观察与 RegionServer 操作相关的事件,例如启动,停止或执行合并,提交或回滚。
MasterObserver :
允许您观察与 HBase Master 相关的事件,例如表创建,删除或 schema 修改。
WalObserver :
允许您观察与预写日志(WAL)相关的事件。
WALObservers
<property><name>hbase.coprocessor.wal.classes</name><value>org.myname.hbase.Coprocessor.RegionObserverExample</value></property>MasterObservers
<property><name>hbase.coprocessor.master.classes</name><value>org.myname.hbase.Coprocessor.RegionObserverExample</value></property> 如果想同时配置多个协处理器,可以用逗号分隔多个协处理器的类名。将您的代码放在HBase的类路径上。一种简单的方法是将jar(包含代码和所有依赖项)放入HBase的安装目录lib/中。