信息论与编码--复习提纲.ppt

《信息论与编码--复习提纲.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、RT需掌握的知识点1、自信息量的计算，P15，公式2.1.1，计算自信息量时，计算器上用的log按钮是10为底的，需*3.322比特，算出的信息量才是以比特/符号为单位。2、条件自信息量的计算，P16，公式2.1.3P16，例2.1.2，P40习题2.1—2.5。信息论与编码复习提纲本课程为考试课成绩构成：20%（平时）+80（卷面）考题类型：1、填空题20分，每空2分（注明：没有文字性的概念型题目，比如什么叫熵，什么叫无记忆信源等）2、判断题10分，每题2分3、简单分析题20分，每题5分4、综合计算题50分，4个大题。需掌握的知识点1、自

2、信息量的计算，P15，公式2.1.1，计算自信息量时，计算器上用的log按钮是10为底的，需*3.322比特，算出的信息量才是以比特/符号为单位。2、条件自信息量的计算，P16，公式2.1.3P16，例2.1.2，P40习题2.1—2.5。3、互信息量的计算，P17，公式2.2.1或2.2.2。互信息量的对称性。习题2.84、熵（也称平均自信息量）的计算，P20，公式2.3.1。例题2.3.1，习题2.6；P23熵的对称性，公式2.3.11，P25熵的极值性，极值是多少？什么条件达到极值。5、条件熵H（X

3、Y），H（Y

4、X）的计算，P28公

5、式2.3.20，2.3.21关于熵与概率的各种计算关系，见P30例2.3.36、N次扩展信源的熵P47，公式3.3.7。习题2.7。7、会根据状态转移图，计算马尔可夫信源的熵，P59例3.5.3，习题3.88、平均互信息量的计算，P79公式4.2.7，P84例4.2.29、信息传输率的计算，P95公式4.5.1，公式4.5.210、信道容量的计算公式，P96公式4.5.3，4.5.4，对称离散信道容量的计算，P99公式4.5.9，什么样的信道是对称信道，准对称信道？P98对称离散信道的4矩阵例子。二进制对称信道的计算，P100上的公式。11

6、、香农编码，哈夫曼编码的步骤，平均码长，编码效率的计算公式。为了获得同样的编码效率，定长码需要的码长比变长码大得多。哈夫曼编码不唯一。12、信道编码发现e个独立随机错误，码字最小距离的要求；纠正t个独立随机错误，码字最小距离的要求；发现e个独立随机错误，同时纠正t个独立随机错误，码字最小距离的要求P202；汉明距离P217；汉明码P226的特点；线性分组码的生成矩阵P224；卷积码编码P236-239。习题6.1，6.3，6.4，6.5，6.10