本书被教育部研究生工作办公室推荐为全国研究生教学用书。 本书从基本概念、基本方法和基本应用三个方面较系统地介绍了信息理论。全书共分9章。除第1章概述和第2章基本概念外，第3章至第6章分别介绍信源的冗余度压缩编码、熵压缩编码和信道的容量与信道编码。第7章讨论最大熵与最小鉴别信息原理及其应用。非统计意义下的信息理论在第8章中讨论，内容包括组合信息、算法信息与通用编码。最后在第9章中简要介绍了通信网中的信源编码与信道容量问题。书末附有习题。 本书的特点是既重视基础理论，又面向实际应用。既讲述成熟的原理又适当介绍发展中的前沿课题。本书可供高等学校与科研院所作研究生教学用书使用，也可供有关科技人员在学习专业基础理论时参考。
目录
- 第1章信息论与信息论方法概述1
- 1.1信息、信息科学和信息论1
- 1.2信息论方法的应用及其取得的成果3
- 1.3信息论的形成与发展7
- 1.3.1通信技术的理论基础7
- 1.3.2统计数学的一个分支11
- 1.3.3信号与信息处理的一般理论基础12
- 第2章信息论的基本概念14
- 2.1离散熵14
- 2.1.1熵的定义14
- 2.1.2熵函数的性质19
- 2.1.3熵函数形式的唯一性23
- 2.1.4联合熵与条件熵26
- 2.2离散互信息29
- 2.2.1互信息的定义29
- 2.2.2多个随机变量下的互信息31
- 2.2.3互信息函数的性质35
- 2.3连续随机变量下的熵与互信息38
- 2.3.1连续随机变量下的微分熵38
- 2.3.2随机变量函数的微分熵40
- 2.3.3连续随机变量下的互信息42
- 2.4鉴别信息44
- 2.4.1鉴别信息的定义44
- 2.4.2Kullback与香农两种信息量度之间的关系47
- 2.4.3鉴别信息的性质51
- *2.4.4鉴别信息函数形式的唯一性57
- 2.5对信息论基本概念的若干评注70
- 习题71
- 第3章信源的熵率、冗余度与冗余度压缩编码74
- 3.1信源、信源模型与信源编码74
- 3.1.1信源74
- 3.1.2信源模型75
- 3.1.3信源编码77
- 3.2离散稳恒信源的熵率与冗余度78
- 3.3离散无记忆信源的渐近等同分割性与信源的定长编码定理82
- 3.3.1渐近等同分割性82
- 3.3.2定长编码定理84
- 3.4离散无记忆信源的变长编码86
- 3.4.1前缀码与Kraft定理87
- 3.4.2唯一可译码定理89
- 3.5变长编码的平均码长与最优编码90
- 3.5.1变长编码的平均码长90
- 3.5.2最优编码92
- 3.6离散无记忆信源的变长树码95
- 3.6.1算术码95
- 3.6.2算术码的存在性97
- 3.7离散马尔可夫信源的熵率100
- 3.7.1马尔可夫链的基本概念100
- 3.7.2离散马尔可夫信源熵率的计算102
- 3.8离散马尔可夫信源的编码定理与最优编码105
- 习题108
- 第4章信道、信道容量与信道的有效利用110
- 4.1信道、信道模型与信道分类110
- 4.1.1信道110
- 4.1.2信道模型与信道分类111
- 4.2离散无记忆信道及其信道容量112
- 4.3离散无记忆信道容量的计算116
- 4.3.1信道容量解的充要条件116
- 4.3.2某些简单情况下信道容量的解119
- 4.3.3一般情况下信道容量的解122
- *4.3.4信道容量的迭代解法124
- 4.4级联信道和并联信道的信道容量125
- 4.4.1级联信道125
- 4.4.2并联信道128
- 4.5信道达到充分利用时输入输出字母概率分布的唯一性131
- 4.6连续信道的信道容量135
- 4.6.1无记忆加性噪声信道的信道容量费用函数136
- 4.6.2无记忆加性高斯噪声信道的信道容量费用函数137
- 4.6.3一般无记忆加性噪声信道的信道容量费用函数的界141
- 4.6.4无记忆加性高斯噪声信道的级联和并联142
- 4.7模拟信道的信道容量145
- 4.7.1模拟随机信号的正交展开145
- 4.7.2模拟信道下的信道容量费用函数及其计算148
- 4.8限带加性白色高斯噪声信道的极限性能及其与传输要求的
- 匹配156
- 4.8.1限带加性白色高斯噪声信道的性能及其极限157
- 4.8.2信道与信息传输要求的匹配160
- 4.9限带模拟信道的数字化163
- *4.10蜂窝移动通信条件下信道的有效利用165
- 4.10.1蜂窝移动通信与系统的频谱利用效率165
- 4.10.2不同接入方法下蜂窝移动通信系统的频谱利用
- 效率及其比较167
- 习题171
- 第5章信道编码173
- 5.1信道编码概述173
- 5.2信道译码准则176
- 5.3联合典型序列与联合渐近等同分割定理179
- 5.4信道编码定理181
- 5.5信道编译码方法的最初范例——汉明码183
- 5.6分组码之一：线性码185
- 5.6.1线性码的定义、编码与生成矩件185
- 5.6.2线性码的伴随式与伴随式译码187
- *5.7分组码之二：循环码190
- 5.7.1循环码的定义191
- 5.7.2循环码的编码与生成多项式191
- 5.7.3循环码的伴随式与译码原理193
- 5.8树码、网格码与卷积码195
- 5.9关于信道编码理论的若干评注199
- 习题200
- 第6章信源的信息速率失真函数与熵压缩编码203
- 6.1熵压缩编码和信源的信息速率失真函数204
- 6.1.1熵压缩编码204
- 6.1.2离散无记忆信源的熵压缩分组编码及信源的信息
- 速率失真函数204
- 6.2信息速率失真函数的性质206
- 6.3离散无记忆信源下的信息速率失真函数的计算211
- 6.3.1信息速率失真函数解的充要条件及参数方程211
- *6.3.2求解信息速率失真函数的迭代算法217
- 6.3.3信息速率失真函数解的唯一性问题220
- 6.3.4乘积信源的信息速率失真函数222
- 6.4连续无记忆信源的信息速率失真函数224
- 6.4.1连续无记忆信源信息速率失真函数的定义及其解
- 的充要条件224
- 6.4.2差值失真量度下连续无记忆信源信息速率失真
- 函数的计算226
- 6.5标量量化233
- 6.5.1均匀量化235
- 6.5.2Lloyd\|Max算法235
- 6.6有记忆连续信源与模拟信源的信息速率失真函数236
- 6.6.1有记忆连续信源的信息速率失真函数的定义236
- 6.6.2模拟信源的信息速率失真函数的定义237
- 6.6.3高斯有记忆连续信源的信息速率失真函数237
- 6.6.4高斯模拟信源的信息速率失真函数240
- 6.7变换编码——实用的熵压缩分组编码242
- 6.8预测编码——实用的熵压缩树码248
- 6.8.1最小均方误差预测器249
- 6.8.2最小平均绝对误差预测器249
- 6.8.3最大零误差概率预测器249
- 习题251
- 第7章最大熵原理与最小鉴别信息原理254
- 7.1非适定问题与最大熵和最小鉴别信息原理254
- 7.1.1非适定问题的提出254
- 7.1.2最大熵原理与最小鉴别信息原理255
- 7.2最大熵原理的合理性258
- *7.3最小鉴别信息原理与最大熵原理的公理化推导261
- 7.3.1最小鉴别信息原理的推导261
- 7.3.2最大熵原理的推导269
- 7.4最小失真意义下的最大熵原理与最小鉴别信息原理269
- 7.4.1方向正交与投影失真270
- 7.4.2投影失真的一般形式272
- 7.4.3最小失真准则与熵准则274
- 7.5最大熵与最小鉴别信息原理的应用及其解的分布276
- 7.5.1最大熵与最小鉴别信息原理的应用276
- 7.5.2最大熵分布与最小鉴别信息分布281
- 习题282
- 第8章组合信息、算法信息与通用编码284
- 8.1信源统计特性不确定时的信源编码问题284
- 8.1.1统计特性失配时统计编码的性能285
- 8.1.2自适应统计编码285
- 8.2基于组合的信息量度与通用编码287
- 8.2.1基于组合的信息量度287
- 8.2.2通用编码288
- 8.2.3Fitingof通用编码的性能289
- 8.3算法信息量292
- 8.3.1单一事件或数值下的信息量度问题292
- 8.3.2Kolmogorov算法熵293
- 8.4二元字符序列的算法熵294
- 8.5算法熵的不可计算性296
- 8.6有限状态压缩编码器298
- 8.7Lewpel\|Ziv编码302
- 8.8LZ编码压缩比与香农熵305
- 习题306
- 第9章通信网中的信源编码与信道容量309
- 9.1概述309
- 9.2反馈信道314
- 9.3多个随机变量下的联合典型序列316
- 9.4多源接入信道320
- 9.4.1多源接入信道的容量320
- 9.4.2相关信源输入下的多源接入信道324
- 9.5高斯多源接入信道324
- 9.5.1高斯多源接入信道的容量域324
- 9.5.2对高斯多源接入信道容量域的讨论326
- 9.5.3多源接入信道容量域与多址方法的关系327
- 9.6分布信源编码329
- 习题333
- 参考文献335
- 索引336
