HBase如何增量备份的python脚本
创始人
2024-12-19 00:23:17
0次

  HBase自带的export/import机制可以实现BackupRestore功能。而且可以实现增量备份。

  HBase怎样增量备份的python脚本

  在这个脚本中,每天做增量备份,每个月15日做全备份。

importtime
  importdatetime
  fromdatetimeimportdate
  importsys
  importos
  tablename=sys.argv[1]
  backupDst=sys.argv[2]
  today=date.today()
  iftoday.day==15://everymonth,wedoafullbackup
  backupSubFolder=backupDst+today.isoformat()+"-full"
  cmd="hbaseorg.apache.hadoop.hbase.mapreduce.Export%s%s"%(tablename,backupSubFolder)
  else:
  yesterday=datetime.date.today()-datetime.timedelta(days=1)
  todayTimeStamp=time.mktime(today.timetuple())
  yesTimeStamp=time.mktime(yesterday.timetuple())
  backupSubFolder=backupDst+today.isoformat()
  cmd="hbaseorg.apache.hadoop.hbase.mapreduce.Export%s%s%s"%(tablename,backupSubFolder,str(int(todayTimeStamp)*1000)
  printcmd
  os.system(cmd)

  HBase怎样增量备份的python脚本

  而Restore机制就更加简单

  hbaseorg.apache.hadoop.hbase.mapreduce.Importtablenamerestorefolder

  要注意的是,做Restore时候,原始的表必须是创建好的。所以如果表本身被损坏,需要重新创建一个新的空表,再做Restore。

  还有,必须在Hadoop-env.sh中配置好hbase和Zookeeper的路径,加上这样的语句

exportHADOOP_CLASSPATH="/usr/lib/hadoop-hbase/hbaseXXX.jar:/usr/lib/hadoop-hbase/lib/zookeeperXXX.jar:/etc/hadoop-hbase/conf"

  把这个加到crontab里面,就可以实现每天定时备份了。

相关内容

热门资讯

空调连续工作多久需要停机休息 空调连续工作的时间取决于多个因素,包括空调的型号、功率、使用环境和维护情况等。一般来说,空调可以连续...
空调哪个符号是除湿的 空调除湿功能通常用一个水滴形状的符号表示。不同品牌和型号的空调遥控器可能会有所差异,但一般来说,除湿...
格力空调多长时间加一次氟利昂 1、一般情况下,空调对氟利昂的使用量是非常小的,所以在空调使用了四年左右的时候再考虑加也没问题。2、...
空调用多长时间需要加氟一次 一般情况下是五年。当出现以下这几种情况时,空调才需要加氟。1、空调的室内机和室外机各有两个接口,当接...
格调生活·C标思享荟:卡萨帝在... 9月12日的郑州龙湖金融岛,夜风轻拂,灯光璀璨。“C标时刻共传奇——卡萨帝思享荟暨20周年品牌盛典郑...
品牌价值破千亿、高端份额持续领... 9月12日,“C标时刻共传奇——卡萨帝思享荟暨20周年品牌盛典郑州站”在郑州龙湖金融岛举办。2026...
空调主板坏了修800还是换新的 空调主板坏了是修还是换新,需要考虑多个因素,以下是一些建议:1. 维修成本:如果维修费用较低,比如 ...
空调开多久需要休息多长时间 问题:空调开多久需要休息多长时间回答:1、在使用空调的过程中,一般空调开7~8个小时左右需要休息2~...
中央空调多长时间清洗一次 1、一般空调开机前清洗一次即可,空调开机中间时段再清洗一次,空调关机时清洗一次,这样比较合理。2、空...
中央空调氟利昂多久加一次 看空调制热和制冷程度,很多人的观点认为氟利昂必须一年放一次,其实这个观点是错误的,理解上面有点偏差,...