使用rsync + inotify 实现多台游戏服代码自动实时同步
一 应用场景描述
在LB后端有多台游戏服运行PHP代码，每台服务器的环境部署一样，PHP代码一样。现在有时需要更改游戏配置文件，如更改各个区服的开服状态等。登陆到每台服务器去更改相应的文件会比较繁琐，需要当在第一台服务器上的配置文件作更改时，其他服务器上的配置文件自动更改。于是考虑可以使用rsync + inotify的方式来同步代码。
二 rsync和inotify配置
使用yum -y install rsync安装rsync服务
rsync有两种工作模式，命令行模式和C/S模式
使用man rsync查看rsync命令的详细使用
使用man rsyncd.conf查看rsync C/S模式运行时的配置文件的详细配置
启动rsync C/S模式
/usr/bin/rsync --daemon
/etc/rsyncd.conf 这个文件默认不存在，需要手动创建一个.
uid = root gid = root use chroot = no max connections = 50 #strict modes = yes pid file = /var/run/rsyncd.pid lock file = /var/run/rsyncd.lock log file = /var/log/rsyncd.log [login_nginx] path = /etc/nginx/ comment = login nginx ignore errors read only = no write only = no hosts allow = 192.168.1.0/24 hosts deny = * list = false [game_center] path = /var/www/html comment = game_center code ignore errors read only = no write only = no hosts allow = 192.168.1.0/24 hosts deny = * list = false
这里uid和gid特别重要，表示当传输文件时，rsyncd守护进程应该具有的对指定目录的权限。如果权限不对，传输将失败。
use chroot 如果设置为true，那么rsync 在传输文件之前会chroot到指定的目录下。
list 这个参数设置当客户端请求列出可用模块时，这个模块是否可以列出
max connections 设置最大并发连接数，默认是0，表示无限制。
game_center 是这个模块的名称
path 设置同步目录
ignore errors 忽略一些I/O错误
read only 设置是否允许只读
write only 设置是否允许只写
hosts allow 设置允许访问的IP范围，可以是单个IP，也可以是IP段
hosts deny 设置拒绝访问的IP范围
还可以设置账号和密码认账模式
auth users = applecode
secrets file = /etc/rsyncd.secrets.apple
applecode这个账号不需要再本地系统创建,最好将/etc/rsyncd.secrets.apple 的权限设置为600
/etc/rsyncd.secrets.apple的内容如下:
applecode:applecodexxx
在客户端主机上也要存在/etc/rsyncd.secrets.apple这个文件，内容是账号密码
applecodexxx
开启了认账模式使用rsync命令同步时需要添加参数
--password-file=/etc/rsyncd.secrets.apple
使用rsync不能实时监测数据的变化并触发同步，这样可以使用inotify配合rsync。
可以使用man 7 inotify查看inotify的相关说明
inotify是一个强大的，细粒度的，异步的文件系统系统监测机制。从内核2.6.13，Linux内核提供inotify接口，第三方软件可以通过inotify接口监控文件系统中文件的修改，删除，移动，增加等各种事件。
使用uname -a 查看Linux内核是否低于2.6.13
查看是否存在/proc/sys/fs/inotify/目录
ls -lh /proc/sys/fs/inotify/
Inotify可以监测的文件系统事件
IN_ACCESS File was accessed (read) (*)
IN_ATTRIB Metadata changed (permissions, timestamps,
extended attributes, etc.) (*)
IN_CLOSE_WRITE File opened for writing was closed (*)
IN_CLOSE_NOWRITE File not opened for writing was closed (*)
IN_CREATE File/directory created in watched directory (*)
IN_DELETE File/directory deleted from watched directory (*)
IN_DELETE_SELF Watched file/directory was itself deleted
IN_MODIFY File was modified (*)
IN_MOVE_SELF Watched file/directory was itself moved
IN_MOVED_FROM File moved out of watched directory (*)
IN_MOVED_TO File moved into watched directory (*)
IN_OPEN File was opened (*)
使用yum install -y inotify-tools inotify-tools-devel 安装inotify-tools
安装后包含两个工具
/usr/bin/inotifywait
/usr/bin/inotifywatch
inotifywait 等待要监控的文件发生变化
inotifywatch 收集变化信息
这里主要使用inotifywait命令
通过man inotifywait 查看inotify命令的详细使用信息
-m, --monitor
默认是当第一个事件出现时，执行操作后就退出。这个参数可以让inotifywait一直执行
-r, --recursive
监测所有子目录的变化情况。如果监测的是一个很大的目录，这里要注意设置/proc/sys/fs/inotify/max_user_watches的值。
-q, --quiet
不显示详细输出
--timefmt
设置时间格式，例如 --timefmt '%d/%m/%y %H:%M'
--format
设置输出格式。例如 --format '%T %w%f%e'
%T 以 --timefmt 指定的格式显示时间
%e Replaced with the Event(s) which occurred, comma-separated.
%w This will be replaced with the name of the Watched file on which an event occurred.
%f When an event occurs within a directory, this will be replaced with the name of the File which caused the event to occur. Otherwise, this will be replaced with an empty string.
-e 列出需要监听的事件
以下是可以监听的事件
access 被监测的文件或被监测目录里的文件被访问
modify 被监测的文件或被监测目录里的文件被写入
attrib 被监测的文件或被监测目录里的文件的属性被修改,包括时间戳,文件权限等
close_write 被监测的文件或被监测目录里的文件以写入模式打开后被关闭
close_nowrite被监测的文件或被监测目录里的文件以只读模式打开后被关闭
close 不关心被监测的文件或被监测目录里的文件以何种方式打开.
open 文件打开
moved_to 移入文件到被监测的目录,同一个目录内的文件被移入移出也会产生事件
moved_from 从被监测的目录移出文件
move 移入移出都监测
move_self 被监测的文件或目录被移走.产生这个事件后,这个文件或目录不再被监测.
create 一个文件或目录在被监测的目录内被创建
delete 一个文件或目录在被监测的目录内被移除
delete_self 被监测的文件或目录被删除,产生这个事件后,这个文件或目录被再被监测.
unmount 被监测的文件或目录所在的文件系统被卸载.产生这个事件后,被监测的文件或目录将不 被监测.
$ inotifywait -mrq application.conf.php application.conf.php OPEN application.conf.php CLOSE_NOWRITE,CLOSE application.conf.php OPEN application.conf.php CLOSE_NOWRITE,CLOSE application.conf.php OPEN application.conf.php CLOSE_NOWRITE,CLOSE application.conf.php OPEN application.conf.php CLOSE_NOWRITE,CLOSE application.conf.php OPEN application.conf.php CLOSE_NOWRITE,CLOSE
#!/bin/sh while inotifywait -e modify /var/log/messages; do if tail -n1 /var/log/messages | grep httpd; then kdialog --msgbox "Apache needs love!" fi done
inotify_rsync_files.sh
#/usr/bin/bash #check /etc/nginx/ and /var/www/html files changes hosts="192.168.1.183 192.168.1.184 192.168.1.185 192.168.1.186" src1=/etc/nginx/ dst1=game_nginx src2=/var/www/html/ dst2=game_server #check /var/www/html files changes and rsync them to the destination host /usr/bin/inotifywait -mrq --timefmt '%d/%m/%y %H:%M' --format '%T %w%f%e' -e move,close_write,modify,delete,create,attrib $src1 $src2|while read files do for host in $(echo $hosts) do echo $files|grep /etc/nginx if [ $? -eq 0 ];then /usr/bin/rsync -avz --delete $src1/ $host::$dst1 ssh -t -p 40022 jidong@$host "sudo service nginx reload" else /usr/bin/rsync -avz --delete $src2/ $host::$dst2 ssh -t -p 40022 jidong@$host "sudo service php-fpm reload" fi done echo "$files was rsynced" >> /tmp/rsyncd.log 2>&1 done
放入后台执行
nohup sh /data/tools/inotify_rsync_files.sh >> ~/inotify_rsync.txt &
下一篇：linux自动全量备份代码