PostgreSQL pg_rewind原理
admin
2023-02-09 03:00:07
0

一、背景
常见的高可用架构中,如果master挂了且有数据没有同步到备,高可用系统会提升备为主对外服务。对于老主有可能再以备的身份加入集群时,可能搭建流复制关系失败。可以用pg_rewind工具使主备的数据一致。

二、pg_rewind原理
PostgreSQL pg_rewind原理
三、相关代码

1、每个文件(目录)的差异被记录在结构体 file_entry_t 中,其定义如下
typedef struct file_entry_t
{
    char       *path;
    file_type_t type;
    file_action_t action;

    /* for a regular file */
    size_t  oldsize;
    size_t  newsize;
    Bool    isrelfile;      
    /* is it a relation data file? */

    datapagemap_t pagemap;

    /* for a symlink */
    char       *link_target;

    struct file_entry_t *next;
} file_entry_t;
2、文件类型
typedef enum
{
    FILE_TYPE_REGULAR,//常规文件
    FILE_TYPE_DIRECTORY,//目录
    FILE_TYPE_SYMLINK//软连接
} file_type_t;
3、对应文件的操作action
typedef enum
{
    FILE_ACTION_CREATE,         /* 创建目录或者软链接: create_target(entry)*/
    FILE_ACTION_COPY,           /* 复制整个文件或者重写已存在的文件: fetch_file_range(entry->path, 0, entry->newsize);*/
    FILE_ACTION_COPY_TAIL,      /* 从source中拷贝从oldsize到newsize的部分 fetch_file_range(entry->path, entry->oldsize, entry->newsize)*/
    FILE_ACTION_NONE,           /* 无操作 */
    FILE_ACTION_TRUNCATE,       /* 裁剪target集群文件到'newsize'大小: truncate_target_file(entry->path, entry->newsize)*/
    FILE_ACTION_REMOVE          /* 删除本地文件/目录/软链接: remove_target(entry)*/
} file_action_t;
4、其他变量解读
isrefile 表示该文件是否是一个表数据文件,表数据文件的路径要满足以下几个条件:
isRelDataFile(path):
    global/ 目录下的文件,即数据库共享的表文件目录下的文件
    base/ 目录下的文件,即默认tablespace的表文件目录下的文件
    pg_tblspc/&rnode.spcNode/TABLESPACE_VERSION_DIRECTORY/目录下的文件,即其他tablespace 的表文件目录下的文件,其中PG_9.4_201403261 与版本相关
    文件名符合的格式
pagemap (怎么用?extractPageInfo)存储了一个bitmap,每一位存储了对应的目的集群文件中的每个page 从两个集群的分叉点之后是否发生了变化,1代表发生变化,0代表未变化。
oldsize 代表目的集群该文件的大小,newsize 代表源集群该文件的大小。pg_rewind 中通过源集群和目的集群的对应文件大小比较或者文件(目录)是否存在,指定文件的处理action,例如:
    oldsize > newsize: action=FILE_ACTION_TRUNCATE
    oldsize < newsize: action=FILE_ACTION_COPY_TAIL
    如果文件不存在,则action=FILE_ACTION_COPY,PG_VERSION文件除外
    如果目录不存在,则action=FILE_ACTION_CREATE
    如果文件多余,则action=FILE_ACTION_REMOVE
    以上动作由函数process_target_file和process_source_file一起处理。只在process_target_file设置FILE_ACTION_REMOVE
5、提取wal日志获取更改页的步骤:
extractPageInfo:
    for (block_id = 0; block_id <= record->max_block_id; block_id++){
        if (!XLogRecGetBlockTag(record, block_id, &rnode, &forknum, &blkno))
            continue;
        /* We only care about the main fork; others are copied in toto */
        if (forknum != MAIN_FORKNUM)//MAIN_FORKNUM是什么意思?
            continue;
        process_block_change(forknum, rnode, blkno);
    }
6、pagemap中的bitmap
pg_rewind 工具执行需要打开full_page_writes,而打开了full_page_writes 之后,checkpoint 后每个数据页的第一次修改对应的数据页的全部内容都会写在WAL日志记录中,所以pg_rewind 可以根据WAL 日志的组织结构很容易的找到对应已经修改的数据页信息,并把对应的file_entry_t 的bitmap 置为1。
XLogRecGetBlockTag:XLogReaderState.blocks[XLR_MAX_BLOCK_ID + 1]

相关内容

热门资讯

王虹、邓煜为啥能获菲尔兹奖? 当地时间7月23日早晨,2026年国际数学家大会在美国费城开幕。国际数学联盟在开幕式上正式公布第二十...
高温津贴,不能用绿豆汤冲抵 近日,深圳市人力资源和社会保障局发布关于高温津贴的典型劳动仲裁案例,并普法提醒:即便劳动合同约定日薪...
菲律宾,你到底想干什么 中国和菲律宾关系,又出幺蛾子了。反正,最近几天,麻烦不断,场面火爆。仁爱礁,菲两艘小艇冲撞我巡逻船只...
聚焦长期价值,方舟云康以数智化... 来源:江南时报 在慢病管理领域,单纯追逐“流量”的互联网医疗模式已显疲态。当线上获客成本持续走高、用...
阿拉比卡以后喝不到了?对话云大... 搜狐科技《思想大爆炸——对话科学家》栏目第157期,对话云南大学农学院教授何飞飞。 嘉宾简介: 何飞...
微信重磅更新!超实用 7月23日,微信派发文晒微信未成年人模式,进入“未成年人模式”后,家长可为孩子设置“每日消费限额”和...
13岁少年帮聋哑舅舅卖瓜,记者... 河南13岁少年帮聋哑舅舅卖瓜走红,记者购买2万斤西瓜助农,临走时少年妈妈拉着记者表示感谢:“如果不是...
12999元起!三星首款阔折叠... 7月22日晚,三星举行 Galaxy Z8 系列折叠屏手机全球发布会,一口气带来了Galaxy Z ...
西门子抽油烟机为什么不转了 西门子抽油烟机为什么不转了1、可能是油烟机里面的电机坏掉了,或者是里面的风扇叶片上有太多的油渍,也有...
四预警齐发!台风“红霞”最新路... 今天(24日)6时,中央气象台发布高温黄色预警、暴雨蓝色预警、强对流天气蓝色预警、台风橙色预警。高温...