mmap中怎么实现大文件复制功能
创始人
2024-12-23 04:23:15
0次

1、读取(fread)被复制的文件的内容。2、写入(fwrite)到新的文件中去。

使用mmap进行文件复制的流程则是:

1、为被复制的文件已经新文件分别进行mmap映射。2、将被复制的文件映射的内存的内容复制到新文件映射的内存。

在知道了基本原理之后,让我们看看具体的做法,本文只分析使用mmap进行大文件复制的方法

具体的做法

先了解一些使用mmap时,应当注意的细节:

文件的大小必须要大于等于内存映射区的大小,因此对于创建的新文件,可以使用文件截断函数(ftruncate)来改变文件的大小和被复制的文件大小一样,这样子才能在映射一个和被复制的文件的映射区一样大的内存映射区。    下面我将使用单进程和多进程两种方式来进行mmap文件复制

单进程mmap文件复制

#include#include #include #include #include #include #include #include #include /* 首先规定一下该命令的参数 : * mycopy 源文件地址 目标文件地址 * * 可能需要的函数:open\read\write\close * 基本流程:打开源文件,读取内容,写到另一个文件,关闭文件 * 核心方法:通过mmap(最快的进程间通信方法)  * 如何获取文件的大小: * */unsigned long get_file_byte_num(const char * filename){ FILE *fp = fopen(filename, "r"); fseek(fp, 0, SEEK_END); return ftell(fp);}int main(int argc, char ** argv){ // 首先解析输入的参数得到源文件和目标文件 if (argc < 3) {  perror("参数输入不足"); } int slen = strlen(argv[1]); // 这个是源文件的名的长度 int tlen = strlen(argv[2]); // 这个是目标文件名的长度 char *sname = (char *)malloc(sizeof(char)*(slen + 1)); char *tname = (char*)malloc(sizeof(char)*(tlen + 1)); strcpy(sname, argv[1]); strcpy(tname, argv[2]); // 打开目标文件 // 计算源文件的大小(字节数) unsigned long byte_num = get_file_byte_num(sname); printf("文件的长度为%ld字节\n", byte_num); //--------建立 mmap 映射区 -------------- // 获取被复制文件的文件描述符 int fd = open(sname, O_RDWR|O_CREAT, 0644); int tfd = open(tname, O_RDWR|O_CREAT, 0644); ftruncate(tfd, byte_num); char *mem =(char*) mmap(NULL, byte_num, PROT_WRITE|PROT_READ, MAP_SHARED, fd, 0); if (mem == MAP_FAILED)  perror("mmap err"); char *tmem =(char*) mmap(NULL, byte_num, PROT_WRITE|PROT_READ, MAP_SHARED, tfd, 0); if (tmem == MAP_FAILED)  perror("mmap err"); close(fd); // 内存映射区建立之后,就可以关闭文件描述符 close(tfd); memcpy(tmem, mem, byte_num); // 回收子进程,等待拷贝结束 munmap(mem, byte_num); munmap(tmem, byte_num); free(sname); free(tname);

多进程mmap复制文件

所谓的多进程mmap复制文件,只是做了将复制的任务分给多个进程去完成,核心思想不变。

#include#include #include #include #include #include #include #include #include #include #include /* 首先规定一下该命令的参数 :* mycopy 源文件地址 目标文件地址** 可能需要的函数:open\read\write\close* 基本流程:打开源文件,读取内容,写到另一个文件,关闭文件* 核心方法:通过mmap(最快的进程间通信方法) * 如何获取文件的大小:**/// 获取文件的字节数unsigned long get_file_byte_num(const char * filename){ FILE *fp = fopen(filename, "r"); fseek(fp, 0, SEEK_END); return ftell(fp);}// sigchld信号处理函数void sigchld_handle(int a){ pid_t pid; while ((pid = waitpid(0,NULL, WNOHANG)) > 0) {  printf("回收到一个子进程%d\n", pid); }}int main(int argc, char ** argv){ // 首先解析输入的参数得到源文件和目标文件 if (argc < 3) {  perror("参数输入不足"); } int slen = strlen(argv[1]); // 这个是源文件的名的长度 int tlen = strlen(argv[2]); // 这个是目标文件名的长度 char *sname = (char *)malloc(sizeof(char)*(slen + 1)); char *tname = (char*)malloc(sizeof(char)*(tlen + 1)); strcpy(sname, argv[1]); strcpy(tname, argv[2]); // 打开目标文件 FILE * tfp = fopen(tname, "w"); // 不存在则创建 // 计算源文件的大小(字节数) unsigned long byte_num = get_file_byte_num(sname); printf("文件的长度为%ld字节\n", byte_num); //--------建立 mmap 映射区 -------------- // 获取被复制文件的文件描述符 int fd = open(sname, O_RDWR|O_CREAT, 0644); int tfd = open(tname, O_RDWR|O_CREAT, 0644); ftruncate(tfd, byte_num); // 将tfd指向的文件的大小改变为byte_num char *mem =(char*) mmap(NULL, byte_num, PROT_WRITE|PROT_READ, MAP_SHARED, fd, 0); char * mem_tmp = mem; // 备份共享内存入口地址 if (mem == MAP_FAILED) perror("MAP_FAILED"); char *tmem = (char*)mmap(NULL, byte_num, PROT_WRITE, MAP_SHARED,tfd, 0); char * tmem_tmp = tmem; if (tmem == MAP_FAILED) perror("mmap err"); close(fd); // 内存映射区建立之后,就可以关闭文件描述符 close(tfd); // 父子进程之间就可以通过这个mem指针进行通信了 // 规定进程数量为5mZ const int num_proc = 5; // 根据进程数量,计算每个进程需要拷贝的字节数, // 最后一个进程拷贝剩余的字节数。 const int num_proc = 5; const unsigned long each_proc_byte = byte_num/num_proc; // 由于可能无法整除,因此最后一个进程,需要多复制一些 const unsigned long last_proc_byte = byte_num - each_proc_byte*(num_proc - 1);  // 屏蔽sigchld信号的系统默认处理方式 sigset_t set; sigemptyset(&set); // 初始化一下set sigaddset(&set, SIGCHLD); sigprocmask(SIG_BLOCK, &set, NULL); // 屏蔽 // 循环创建子进程int i; pid_t pid;for(i = 0; i < num_proc - 1; ++i){ if ((pid = fork())==-1) perror("fork error"); if (pid == 0) break;} // -------具体的拷贝过程--------- if (i == num_proc - 1) // 父进程 {  // 设置信号捕捉和解除屏蔽  struct sigaction act;  act.sa_handler = sigchld_handle;  sigemptyset(&act.sa_mask); // 处理期间不屏蔽其他信号  sigaction(SIGCHLD, &act, NULL); // 启动信号捕获  sigprocmask(SIG_UNBLOCK, &set, NULL); // 解除SIGCHLD的屏蔽  memcpy(tmem_tmp + each_proc_byte*i, mem_tmp + each_proc_byte*i, last_proc_byte);  }else {  memcpy(tmem + each_proc_byte*i, mem_tmp + each_proc_byte*i, each_proc_byte); } // // 回收子进程,等待拷贝结束 //  munmap(mem, byte_num);  munmap(tmem, byte_num);  free(sname);  free(tname);  return 0;}

几个问题

1、主进程什么时候进行munmap才不会影响其他进程使用mmap进行复制。

父子进程之间的用户空间遵循“读时共享、写时复制”的原则,mmap肯定是采用的用户空间的内存,因此我认为最好的处理方法,就是每个进程都进行munmap。

2、sleep()函数的注意点:

sleep在manpage上的原文解释为:sleep() makes the calling process sleep until seconds seconds have elapsed or a signal arrives which is not ignored.

也就是说,结束sleep的情况又两种:1.休眠时间到。2.调用sleep的进程收到一个信号,且该信号未被屏蔽,在该信号处理完成后,理解结束sleep。

3、子进程可能会比主进程结束的慢,而且不能让主进程阻塞等待子进程(通过信号捕捉来回收子进程),这种情况下,该如何回收子进程?

首先,主进程准备好信号捕获回收子进程的代码。其次,能不能回收就随缘,如果主进程先退出了就把子进程交给init进程回收。所以,不需要担心能不能回收的问题。

相关内容

热门资讯

空调连续工作多久需要停机休息 空调连续工作的时间取决于多个因素,包括空调的型号、功率、使用环境和维护情况等。一般来说,空调可以连续...
空调哪个符号是除湿的 空调除湿功能通常用一个水滴形状的符号表示。不同品牌和型号的空调遥控器可能会有所差异,但一般来说,除湿...
格力空调多长时间加一次氟利昂 1、一般情况下,空调对氟利昂的使用量是非常小的,所以在空调使用了四年左右的时候再考虑加也没问题。2、...
空调用多长时间需要加氟一次 一般情况下是五年。当出现以下这几种情况时,空调才需要加氟。1、空调的室内机和室外机各有两个接口,当接...
格调生活·C标思享荟:卡萨帝在... 9月12日的郑州龙湖金融岛,夜风轻拂,灯光璀璨。“C标时刻共传奇——卡萨帝思享荟暨20周年品牌盛典郑...
品牌价值破千亿、高端份额持续领... 9月12日,“C标时刻共传奇——卡萨帝思享荟暨20周年品牌盛典郑州站”在郑州龙湖金融岛举办。2026...
空调主板坏了修800还是换新的 空调主板坏了是修还是换新,需要考虑多个因素,以下是一些建议:1. 维修成本:如果维修费用较低,比如 ...
空调开多久需要休息多长时间 问题:空调开多久需要休息多长时间回答:1、在使用空调的过程中,一般空调开7~8个小时左右需要休息2~...
中央空调多长时间清洗一次 1、一般空调开机前清洗一次即可,空调开机中间时段再清洗一次,空调关机时清洗一次,这样比较合理。2、空...
中央空调氟利昂多久加一次 看空调制热和制冷程度,很多人的观点认为氟利昂必须一年放一次,其实这个观点是错误的,理解上面有点偏差,...