关于内存映射文件技术处理大文件的读写

《关于内存映射文件技术处理大文件的读写》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、关于内存映射文件技术处理大文件的读写Windows对文件的读写提供了很丰富的操作手段，如:1.FILE*fp,fstearm...;(C/C++)2.CFile,CStdioFile...;(MFC)3.CreateFile,ReadFile...;(API)...在处理一般的文件(文本/非文本),这些足够了。然而在处理比较大的文件如几十M,几百M,甚至上G的文件,这时再用一般手段处理，系统就显的力不从心了要把文件读出，再写进，耗费的是CPU利用率与内存以及IO的频繁操作。这显然是令用户难以忍受的为了解决这个吃内存，占CPU，以及IO瓶颈，windows核心编程提供了内存映射文件技术(

2、MapingFile)至于MapingFile是什么原理，我不多说了，网上转载资源一箩筐，我只想从应用层来考虑，怎样用这个技术，实现日常项目中的应用举例来说:可能项目中，会经常用到一些大量的常量，而这些大量常量用宏来替代写再源文件中显然不可取，一般是写在文件中，给常量一些编号，通过编号来索引一般文件比较小时候，常用做法也是先预读到内存中，毕竟从内存中读比从文件中读要快(IO操作的瓶颈)比较好的做法，读到STLMAP中去:例如一个索引文件:SEU07201213=汪洋中的一片叶子JIANGSHENG=蒋晟SEU07201214=CSDN............打开文件，解析=号，在解析方

3、面有CString操作,strtok,strstr,boost正则表达式匹配等等，但我比较喜欢sscanf(szIndex,"%[^=]=%[^=]",sName,sValue);sscanf(szIndex,"%[^=]=%s",sName,sValue);fscanf(stream,"%[^=]=%[^=]",sName,sValue);之类,然后再定义一个map:mapm_Map;m_Map[sName]=sValue;但是文件比较大的时候，笔者做过测试，用上面方法处理一个15M,25万行的文本文件，占用内存非常的高，达70多M,处理的速度也非常的慢

4、，这还不包括回写到文件这时，MapingFile就派上用场了，这里处理大文件就抛弃了map的应用(因为容器占用很多内存)而是直接利用字符指针来操作，不用其他封装，不多说了，请看示例: #pragma warning(disable: 4786) #include #include #include #include using namespace std;string GetValue(const TCHAR *, const TCHAR *);  //根据name得valuevoid main(int arg

5、c, char* argv[]){    // 创建文件对象(C:est.tsr)    HANDLE hFile = CreateFile("C:test.tsr", GENERIC_READ 

6、 GENERIC_WRITE,        0, NULL, OPEN_EXISTING, FILE_ATTRIBUTE_NORMAL, NULL);    if (hFile == INVALID_HANDLE_VALUE)    ...{        printf("创建文件对象失败,错误代码:%d", GetLastError());        return;    }   

7、 // 创建文件映射对象    HANDLE hFileMap = CreateFileMapping(hFile, NULL, PAGE_READWRITE, 0, 0, NULL);    if (hFileMap == NULL)    ...{        printf("创建文件映射对象失败,错误代码:%d", GetLastError());        return;    }    // 得到系统分配粒度    SYSTEM_INFO SysInfo;    GetSystemInfo(&SysInfo);    DWORD dwGran = SysInfo.dwA

8、llocationGranularity;    // 得到文件尺寸    DWORD dwFileSizeHigh;    __int64 qwFileSize = GetFileSize(hFile, &dwFileSizeHigh);    qwFileSize 

9、= (((__int64)dwFileSizeHigh) << 32);    // 关闭文件对象    CloseHandle(hFile);    // 偏移地址