非结构化存储

《非结构化存储》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、一.非结构化文件存储全国中心提供两种写处理操作，Create和Update,Create是策一次写入fileblock操作，Update是对fileblock的修改、追加、删除操作。1.文件块创建（create）功能描述：接收创建谘求，在HDFS上创建新文件块。文件块仅包括义件块尖信息。业务流程：1.接收文件块写请求2.判断不存在该文件块，则创建新文件块。流程图：接writeEmptyFileBlockHeader(Filefile)2.文件块更新（update）功能描述：对已冇文件进行更新操作。文件索引不变，内容追加到文件块尾部。业务流程：1.接收文件块更新请求，2.获取原Metadat

2、a信息（版本，子文件数，加密等级等），3.土成新Metadata信息（版木+1），4.将新Metadata及文件内界追加到文件块尾部。5.Metadata存人MongoDB流程图：接口：intupdate(intkey,intfileType,Filefile,intfileIndex)；intupdate(intkey,intfileType,InputStreamis,intfileIndex)；intupdate(intkey,intfileType,ByteBufferbuffer,intfilelndex)；1.文件块追加（append）功能描述：接收文件ID及文件流，在现有块尾

3、部追加新文件元数据及文件信息。业务流程：1.接收文件块追加写入请求，2.牛.成Metadata信思，3.将Metadata及文件内容追加到文件块尾部。4.Metadata存入MongoDB流程图：接口：intappend(intkey,intfileType,intsecurityType,Filefile);intappend(intkey,intfileType,intsecurityType,InputStreamis〉；intappend(intkey,intfileType,intsecurityType,ByteBufferbyteBuff)；1.文件块删除(delete)功能

4、描述：接收文件ID及页码，删除块屮已有文件(称记删除)。业务流程：1.接收文件删除请求，2.定位文件位置，3.Sflag位为1(即标记删除)，4.删除MongoDB中该文件Metadata信息流程图：Yes接口:intdelete(intkey,intfilelndex)；1.文件块调阅(read)功能描述：根裾索引号找到文件块，通过页码、版木信息定位偏移:找出影像文件通过socket返回给客户端。业务流程：1.接收请求，2.获取Metadata，3.读取数椐。流程图:接口：ByteBufferread(intkey,intfilelndex,intversion)；2.文件块metada

5、ta抽取加载功能描述:抽取文件块Metadata信息，并存储Metadata信息至ljMongoDB屮。业务流程：流程罔：接addNewMetadatalndex(StringfileBlockName,MetadatalndexFileindex)；ListgetSortedMetadatalndex(StringfileBlockName,intkey)；存储策略业务描述：将楫前置存储到期的文件块移到全国中心云上去。业务流程阁:存储策略以’取数仉外:，找取迂ft文ft例衣从泊认列取文汴块抽取in讲和w记泊文件块信息yes•brM.(f■側接口:三.

6、离线存储1.部分离线业务描述：对己有文件块进行部分离线。即只抽収块中部分数据进行离线。业务流程：1.接收离线诮求2.访闷数据库，查询该块中待离线文件数3.如果待离线数，超过伐值，则进行离线4.访M数据库，荻取待离线文件索引列表5.抽取所有待离线文件数据合并到新文件块中6.如果新文件块合丼成功，则将新文件索引信总封装为Link信息填充到原文件块数裾域7.新旧索引关联关系存入数裾库8.修改原文索引状态为离线9.如果新文件块合并失败，则记录文件索引。K次离线请求吋再离线。流程阁：1.离线调阅业务描述：对己离线文件进程调阅业务流程：1.接收离线调阅请求，2.查询数据库足否存在新旧索引对应关系。3.

7、如果存迕新旧关系，则使用新索引进行离线调阅,4.如果不存在关系，则使用原索引进行离线调阅。流程图：使用哚系JI夾浅询阅使川斯肉钱i«tel四.数裾库1.部分离线新旧索引对应关系表2.元数裾表