数据处理大纲.docx

《数据处理大纲.docx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第一章绪论1、物联网具备的3个能力：全面感知、可靠传递、只能处理2、物联网体系结构：感知层、网络层、应用层3、感知层：解决数据获取问题，包括数据采集和数据段距离传输两部分4、感知层关键技术包括：检测技术、中低速无线或有线短距离传输技术（传感器、RFID、ZigBee技术、蓝牙）5、网络层：承担数据传输功能，关键技术（Internet，移动通信网，WSN（5个特点））6、应用层：解决数据处理和人机界面的问题，关键技术（人工智能，数据挖掘，中间件，云计算，海计算）7、物联网数据特性：数据的海量性、时效性、多态性与异构性8、数据的多态性：采集的数据结构各不相同9、数据的异构性：有文本数据、图

2、像、音频、视频等多媒体数据。文本型数据易传难感、多媒体数据易感难传。10、异构性和多态性的根本原因：物联网的应用模式和架构互不相同，缺乏可批量应用的系统方法。11、数据海量性、时效性的解决方法：数据压缩、提高计算能力（采用云计算等技术）12、数据异构性的解决方法：数据库（数据存储、挖掘、检索），中间件（传递、过滤、融合）第二章数据压缩1、文本数据压缩的方法：游程编码、统计编码、字典编码（不同的冗余对应不同的压缩方法），无损压缩算法通常利用了统计冗余。2、无损压缩用在电子表格、文本、可执行文件这样的符号数据中；有损压缩用在视频、音频中，需要在压缩速率、压缩数据大小和质量损失之间折中。3、

3、游程编码（RLE）存在的问题：3点4、游程编码的压缩比：压缩因子为N/(N–M(L–3))5、游程编码可用于二值图像、灰度图像、彩色图像的压缩6、熵：H=-s(log2(P))，在等概率特例下，p=1/n，s为每单位时间传送s个符号。总的熵即对所有熵求和7、哈夫曼编码（熵编码法）：合并后概率下放、合并后概率上放。平均码长相同，说明信息率R，冗余度相同；码方差越小越好。哈夫曼编码的编码方法不唯一8、哈夫曼编码的优缺点9、算术编码，编码与解码10、算术编码提前结束问题的解决办法：加入eof符号——————————————————————————————————11、字典编码：LZ77/78

4、/W12、实用的字典编码算法的核心就是如何动态地形成字典，以及如何选择输出格式以减小冗余1、LZ77：搜索缓冲区、前向缓冲区。必须限制词典的大小才能保证算法的效率。LZ77解码器比编码器简单得多（非对称压缩），3个改进2、LZ78：没有搜索缓冲区，代之以显示字典，编码器与解码器必须同步建立字典3、LZW：只对i编码，而不是编码4、物联网数据压缩：一种改进的基于LZW的RFID标签数据压缩算法，三层数据存储模型，RFID数据路径，子路径，主路径，路径编码。——————————————————————————————————5、多媒体压缩的重要性，可能性：空间冗余、时间冗余、结构

5、冗余、知识冗余、视觉冗余100*100*8*3/2、图像区域的相同性冗余、纹理的统计冗余6、多媒体数据压缩方法分类：有损失编码（损失在量化，因为是除法）、无损失编码；空间方法、变换方法、混合方法；自适应性编码、非自适应性编码7、编码算法分类：预测编码、统计编码（熵编码）、静图像编码、电视编码、其他编码8、脉冲编码调制、预测编码、变换编码、统计编码、混合编码9、峰值信噪比（PSNR）：衡量重建图像对原始图像的表征程度，均方误差(MSE)、均方根误差(RMSE)，信噪比（SNR），量化信噪比，量化误差，越高越好10、预测编码：基本思想，行内预测、帧内预测、帧间预测，三邻域预测法11、视频信

6、号的冗余度体现在：空间相关性（帧内），时间相关性（帧间）12、运动补偿预测：将前一个画面的背景区+平移后的运动物体区作为后一个画面的预测值13、变换编码：原理，正交变换，正交基（DCT,DFT,DST……），系统构成，能量集中在左上角的低频部分，右下角是高频部分14、DCT变换（离散余弦变换）：主要思想，矩阵算法（一维、二维）15、人眼对慢变化部分（低频部分）比细节部分（高频部分）更敏感、亮度比色度更敏感，DCT需要对低频系数进行细量化，对高频系数粗量化16、DCT行程编码：采用之字形扫描17、基于DCT的编码系统：先解熵编码，再做量化，DCT本身不失真，是可逆变换18、DCT的缺点：

7、2点19、JPEG采用的两种基本压缩算法：以DCT为基础的有损压缩、以预测技术为基础的DPCM无损压缩20、JPEG的4种运行模式：基于DCT的渐进编码模式、基于DCT的分级编码模式、基于DCT的有损顺序编码模式、基于DPCM的无损编码模式（没有量化的）21、颜色模型：RGB、HSL、YCbCr22、视频帧的定义：图像组->图像->片->宏块（做运动搜索的单位）->块（做变换的单位）23、视频压缩：I帧（内帧）、单向预测真（P帧）、双向预测帧（