福建采集传输协议、规约

《福建采集传输协议、规约》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、福建省学历继续教育数字化管理、监控平台数据采集传输协议、规约目录上报方式3文件上传3接口上报3文件上报3CSV格式3XLS格式4数据格式4接口上报4Googlejsonstyle介绍4上报规约4文件上传4RESTful接口5身份验证5数据模板多版本5元数据业务API7数据项列表7编辑页面API示列8查看页面元数据10数据查询列表示例12附件1文件模板14附件2信息码14附件3Googlejsonstyle15上报方式分为两种“文件上传”和“RESTful接口”。文件上传系统管理员或教师按指定的模版格式线下进行整理，

2、通过系统上传完成原始数据的导入工作。接口上报通过系统自动二次功能开发，完成系统间数据自动上报的原始数据。系统采用RESTful方式。文件上报在采用“文件上传”的方式，才使用文件上报的方式。决定采用CSV格式或xls格式。具体的实例参考附件1。CSV格式逗号分隔值（Comma-SeparatedValues，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号），其文件以纯文本形式存储表格数据（数字和文本）。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。CSV文件由任意数目的记录组成，记

3、录间以某种换行符分隔；每条记录由字段组成，字段间的分隔符是其它字符或字符串，最常见的是逗号或制表符。通常，所有记录都有完全相同的字段序列。文件规则：1开头是不留空，以行为单位。2可含或不含列名，含列名则居文件第一行。3一行数据不跨行，无空行。4以半角逗号（即,）作分隔符，列为空也要表达其存在。5列内容如存在半角逗号（即,）则用半角双引号（即""）将该字段值包含起来。6列内容如存在半角引号（即"）则应替换成半角双引号（""）转义，并用半角引号（即""）将该字段值包含起来。7文件读写时引号，逗号操作规则互逆。8内码格式

4、不限，可为ASCII、Unicode或者其它，统一采用UTF-8实现Unicode编码。XLS格式略数据格式无论是CVS或XLS格式的文件，数据文件第一行统一为数据维度（列）要求，具体的维度信息是系统模板生成。不可以任意修改或添加，上传时系统会根据模板信息进行导入前的校验或容错。数据维度如果不符合预期的模板定义，将会影响正常导入。数据维度的确认由客户、产品、需求人员共同商议决定。接口上报采用“RESTful接口”，协议数据描述统一采用goolgejsonstyle格式描述数据。Googlejsonstyle介绍：中

5、文站：https://github.com/darcyliu/google-styleguide/blob/master/JSONStyleGuide.md上报规约上报信息分为文件上传和RESTful接口上传，除采用统一的反馈信息码外，上传的方式和格式均有不同。反馈信息码参见附件2.文件上传Ø上传文件需要先根据上传业务类型，选择对应的上传模版。Ø上传时需要指定唯一维度发现相同数据时的处理方式默认规则如下“覆盖”、“忽略”、“报错”。并制定发生首次发现错误时的错误机制，全部中断或忽略继续处理。Ø文件上传完毕时会先开始

6、错误报告检测，校验数据无误后，才会真正导入数据。Ø第一次校验通过的数据，第二次导入时还会再次校验一边，防止并发造成数据冲突。Ø文件上传完毕后会给出上传反馈报告，报告信息拟定如下“成功数”、“失败数”、“失败信息描述”（附件1）等。Ø上传原始信息，系统会保留n个月，可用作数据校对所用。超过期限自动删除。Ø文件上传采取异步方式上传，并且定时（间隔时间小于10秒）刷新展现最新进度。一期同一用户同一时间，只能上传一份文件。一个用户不可以同时上传多份文件。需等上一文件上传完毕并完全处理完成后，才可上传下一文件。RESTful

7、接口Ø接口上传数据不成功时会异步给出信息反馈，上报系统需要提供回调服务器地址和处理反馈信息，信息码表见附件1。Ø数据完整性校验需要统一采用MD5方式，传输数据需要提供MD5码，防止数据中途被劫持修改。Ø上报数据维度需要制定模板信息，并对应填写相应数据。Ø上报数据需含有EduPass制定的TGT或ST。ØRESTful接口上传时需要先明确数据模版，确认需要上传的格式。报送时不可连续发送，单条发总间隔需要至少间隔200ms以上。以免对主系统压力冲击。此问题需要明确注意。Ø系统上报时间最好定在凌晨后执行，避免系统使用高峰

8、，造成网络拥堵。身份验证因文件上传需要登录系统方可执行，所以只有基于RESTful接口时才考虑身份验证。身份验证我们采取SSO方式，依赖弘成EDUPass系统。EduPass相关使用信息略。数据模板多版本数据模版支持多版本，支持最近的上一版本和最新版本并行。系统发布一个固定RESTAPI接口对外发布最新API的变化和版本说明。通过选择新的属性名（维度）或将A