使用SpringBoot怎么对Hbase进行整合
创始人
2024-12-26 20:01:44
0次

整合步骤

目录结构

使用SpringBoot怎么对Hbase进行整合

pom.xml

这里要导入Hbase连接所需要包,需要找和你Hbase版本一致的包


 org.apache.hbase
 hbase-client
 2.0.1

hbase-site.xml

我是用的配置文件连接方法,这个配置文件你在hbase的安装目录下的conf目录就可以找到,然后你直接把它复制到项目的resources目录下就好,当然你也可以用application.properties配置文件外加注入和代码的方式代替这个配置文件

HBaseConfig.java

这里因为只需连接Hbase就没连接Hadoop,如果要连接Hadoop,Windows下还要下载winutils.exe工具,后面会介绍

@Configuration
public class HBaseConfig {
 @Bean
 public HBaseService getHbaseService() {
  //设置临时的hadoop环境变量,之后程序会去这个目录下的\bin目录下找winutils.exe工具,windows连接hadoop时会用到
  //System.setProperty("hadoop.home.dir", "D:\\Program Files\\Hadoop");
  //执行此步时,会去resources目录下找相应的配置文件,例如hbase-site.xml
  org.apache.hadoop.conf.Configuration conf = HBaseConfiguration.create();
  return new HBaseService(conf);
 }
}

HBaseService.java

这是做连接后的一些操作可以参考之后自己写一下

public class HBaseService {
 private Logger log = LoggerFactory.getLogger(HBaseService.class);
 /**
  * 管理员可以做表以及数据的增删改查功能
  */
 private Admin admin = null;
 private Connection connection = null;
 public HBaseService(Configuration conf) {
  try {
   connection = ConnectionFactory.createConnection(conf);
   admin = connection.getAdmin();
  } catch (IOException e) {
   log.error("获取HBase连接失败!");
  }
 }
 /**
  * 创建表 create , {NAME => , VERSIONS => }
  */
 public boolean creatTable(String tableName, List columnFamily) {
  try {
   //列族column family
   List cfDesc = new ArrayList<>(columnFamily.size());
   columnFamily.forEach(cf -> {
    cfDesc.add(ColumnFamilyDescriptorBuilder.newBuilder(
      Bytes.toBytes(cf)).build());
   });
   //表 table
   TableDescriptor tableDesc = TableDescriptorBuilder
     .newBuilder(TableName.valueOf(tableName))
     .setColumnFamilies(cfDesc).build();
   if (admin.tableExists(TableName.valueOf(tableName))) {
    log.debug("table Exists!");
   } else {
    admin.createTable(tableDesc);
    log.debug("create table Success!");
   }
  } catch (IOException e) {
   log.error(MessageFormat.format("创建表{0}失败", tableName), e);
   return false;
  } finally {
   close(admin, null, null);
  }
  return true;
 }
 /**
  * 查询所有表的表名
  */
 public List getAllTableNames() {
  List result = new ArrayList<>();
  try {
   TableName[] tableNames = admin.listTableNames();
   for (TableName tableName : tableNames) {
    result.add(tableName.getNameAsString());
   }
  } catch (IOException e) {
   log.error("获取所有表的表名失败", e);
  } finally {
   close(admin, null, null);
  }
  return result;
 }
 /**
  * 遍历查询指定表中的所有数据
  */
 public Map> getResultScanner(String tableName) {
  Scan scan = new Scan();
  return this.queryData(tableName, scan);
 }
 /**
  * 通过表名及过滤条件查询数据
  */
 private Map> queryData(String tableName, Scan scan) {
  // 
  Map> result = new HashMap<>();
  ResultScanner rs = null;
  //获取表
  Table table = null;
  try {
   table = getTable(tableName);
   rs = table.getScanner(scan);
   for (Result r : rs) {
    // 每一行数据
    Map columnMap = new HashMap<>();
    String rowKey = null;
    // 行键,列族和列限定符一起确定一个单元(Cell)
    for (Cell cell : r.listCells()) {
     if (rowKey == null) {
      rowKey = Bytes.toString(cell.getRowArray(), cell.getRowOffset(), cell.getRowLength());
     }
     columnMap.put(
       //列限定符
       Bytes.toString(cell.getQualifierArray(), cell.getQualifierOffset(), cell.getQualifierLength()),
       //列族
       Bytes.toString(cell.getValueArray(), cell.getValueOffset(), cell.getValueLength()));
    }
    if (rowKey != null) {
     result.put(rowKey, columnMap);
    }
   }
  } catch (IOException e) {
   log.error(MessageFormat.format("遍历查询指定表中的所有数据失败,tableName:{0}", tableName), e);
  } finally {
   close(null, rs, table);
  }
  return result;
 }
 /**
  * 为表添加或者更新数据
  */
 public void putData(String tableName, String rowKey, String familyName, String[] columns, String[] values) {
  Table table = null;
  try {
   table = getTable(tableName);
   putData(table, rowKey, tableName, familyName, columns, values);
  } catch (Exception e) {
   log.error(MessageFormat.format("为表添加 or 更新数据失败,tableName:{0},rowKey:{1},familyName:{2}", tableName, rowKey, familyName), e);
  } finally {
   close(null, null, table);
  }
 }
 private void putData(Table table, String rowKey, String tableName, String familyName, String[] columns, String[] values) {
  try {
   //设置rowkey
   Put put = new Put(Bytes.toBytes(rowKey));
   if (columns != null && values != null && columns.length == values.length) {
    for (int i = 0; i < columns.length; i++) {
     if (columns[i] != null && values[i] != null) {
      put.addColumn(Bytes.toBytes(familyName), Bytes.toBytes(columns[i]), Bytes.toBytes(values[i]));
     } else {
      throw new NullPointerException(MessageFormat.format(
        "列名和列数据都不能为空,column:{0},value:{1}", columns[i], values[i]));
     }
    }
   }
   table.put(put);
   log.debug("putData add or update data Success,rowKey:" + rowKey);
   table.close();
  } catch (Exception e) {
   log.error(MessageFormat.format(
     "为表添加 or 更新数据失败,tableName:{0},rowKey:{1},familyName:{2}",
     tableName, rowKey, familyName), e);
  }
 }
 /**
  * 根据表名获取table
  */
 private Table getTable(String tableName) throws IOException {
  return connection.getTable(TableName.valueOf(tableName));
 }

 /**
  * 关闭流
  */
 private void close(Admin admin, ResultScanner rs, Table table) {
  if (admin != null) {
   try {
    admin.close();
   } catch (IOException e) {
    log.error("关闭Admin失败", e);
   }
   if (rs != null) {
    rs.close();
   }
   if (table != null) {
    rs.close();
   }
   if (table != null) {
    try {
     table.close();
    } catch (IOException e) {
     log.error("关闭Table失败", e);
    }
   }
  }
 }
}

HBaseApplicationTests.java

@RunWith(SpringJUnit4ClassRunner.class)
@SpringBootTest
class HBaseApplicationTests {
 @Resource
 private HBaseService hbaseService;
 //测试创建表
 @Test
 public void testCreateTable() {
  hbaseService.creatTable("test_base", Arrays.asList("a", "back"));
 }
 //测试加入数据
 @Test
 public void testPutData() {
  hbaseService.putData("test_base", "000001", "a", new String[]{
    "project_id", "varName", "coefs", "pvalues", "tvalues",
    "create_time"}, new String[]{"40866", "mob_3", "0.9416",
    "0.0000", "12.2293", "null"});
  hbaseService.putData("test_base", "000002", "a", new String[]{
    "project_id", "varName", "coefs", "pvalues", "tvalues",
    "create_time"}, new String[]{"40866", "idno_prov", "0.9317",
    "0.0000", "9.8679", "null"});
  hbaseService.putData("test_base", "000003", "a", new String[]{
    "project_id", "varName", "coefs", "pvalues", "tvalues",
    "create_time"}, new String[]{"40866", "education", "0.8984",
    "0.0000", "25.5649", "null"});
 }
 //测试遍历全表
 @Test
 public void testGetResultScanner() {
  Map> result2 = hbaseService.getResultScanner("test_base");
  System.out.println("-----遍历查询全表内容-----");
  result2.forEach((k, value) -> {
   System.out.println(k + "--->" + value);
  });
 }
}

运行结果

Hbase数据库查询结果

使用SpringBoot怎么对Hbase进行整合

IDEA的遍历结果

使用SpringBoot怎么对Hbase进行整合

报错与解决方案

报错一

使用SpringBoot怎么对Hbase进行整合

解决方案:

这是参数配置的有问题,如果你是用hbase-site.xml配置文件配置的参数,那么检查它,用代码配置就检查代码参数

报错二

使用SpringBoot怎么对Hbase进行整合

解决方案:

更改windows本地hosts文件,C:\Windows\System32\drivers\etc\hosts,添加Hbase服务所在主机地址与主机名称,这里你如果保存不了hosts文件,把它拉出到桌面改好再拉回即可

报错三

使用SpringBoot怎么对Hbase进行整合

解决方案:

这是因为在Windows下连接Hadoop需要一个叫Winutils.exe的工具,并且从源代码可知,它会去读你Windows下的环境变量,如果你不想在本地设置,可以用方法System.setProperty()设置实时环境变量,另外,如果你只用Hbase,其实这个报错并不影响你使用Hbase服务

相关内容

热门资讯

空调连续工作多久需要停机休息 空调连续工作的时间取决于多个因素,包括空调的型号、功率、使用环境和维护情况等。一般来说,空调可以连续...
空调哪个符号是除湿的 空调除湿功能通常用一个水滴形状的符号表示。不同品牌和型号的空调遥控器可能会有所差异,但一般来说,除湿...
格力空调多长时间加一次氟利昂 1、一般情况下,空调对氟利昂的使用量是非常小的,所以在空调使用了四年左右的时候再考虑加也没问题。2、...
空调用多长时间需要加氟一次 一般情况下是五年。当出现以下这几种情况时,空调才需要加氟。1、空调的室内机和室外机各有两个接口,当接...
格调生活·C标思享荟:卡萨帝在... 9月12日的郑州龙湖金融岛,夜风轻拂,灯光璀璨。“C标时刻共传奇——卡萨帝思享荟暨20周年品牌盛典郑...
品牌价值破千亿、高端份额持续领... 9月12日,“C标时刻共传奇——卡萨帝思享荟暨20周年品牌盛典郑州站”在郑州龙湖金融岛举办。2026...
空调主板坏了修800还是换新的 空调主板坏了是修还是换新,需要考虑多个因素,以下是一些建议:1. 维修成本:如果维修费用较低,比如 ...
空调开多久需要休息多长时间 问题:空调开多久需要休息多长时间回答:1、在使用空调的过程中,一般空调开7~8个小时左右需要休息2~...
中央空调多长时间清洗一次 1、一般空调开机前清洗一次即可,空调开机中间时段再清洗一次,空调关机时清洗一次,这样比较合理。2、空...
中央空调氟利昂多久加一次 看空调制热和制冷程度,很多人的观点认为氟利昂必须一年放一次,其实这个观点是错误的,理解上面有点偏差,...