本书系普通高等教育“十一五”国家级规划教材，并于2008年被教育部评为普通高等教育精品教材。本书系统地论述了香农信息论基本理论及某些应用问题，基本覆盖了信息论的各个方面的内容。内容包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆、离散和连续信道的信道容量；香农信息论的三个基本定理：无失真信源编码定理、限失真信源编码定理和信道编码定理；网络信息理论及保密系统的信息理论。本书还介绍了无失真数据压缩（即无失？信源编码）的实用的编码算法与方法，以及信道纠错编码的基本内容和分析方法。本书最后还简要地介绍了信息论与热力学、光学、统计学、生物学和医学等其他学科交叉结合的应用内容。本书深入浅出、概念清晰、内容丰富、系统性和可读性强，并具实际应用价值。读者对象：高等院校信息工程、通信工程、雷达、计算机、电子学、信息与计算科学等相关专业的本科生、研究生
目录
- 第1章 绪论
- 1.1 信息的概念
- 1.2 信息论研究的对象、目的和内容
- 1.3 信息论发展简史与信息科学
- 第2章 离散信源及其信息测度
- 2.1 信源的数学模型及分类
- 2.2 离散信源的信息熵
- 2.2.1 自信息
- 2.2.2 信息熵
- 2.3 信息熵的基本性质
- 2.4 信息熵的唯一性定理
- 2.5 离散无记忆的扩展信源
- 2.6 离散平稳信源
- 2.6.1 离散平稳信源的数学定义
- 2.6.2 二维离散平稳信源及其信息熵
- 2.6.3 离散平稳信源的极限熵
- 2.7 马尔可夫信源
- 2.7.1 马尔可夫信源和m阶马尔可夫信源的定义
- 2.7.2 马尔可夫信源和m阶马尔可夫信源的信息熵
- 2.8 信源剩余度与自然语言的熵
- 2.9 意义信息和加权熵
- 小结
- 习题
- 第3章 离散信道及其信道容量
- 3．1 信道的数学模型及分类
- 3．1．1 信道的分类
- 3．1．2 离散信道的数学模型
- 3．1．3 单符号离散信道的数学模型
- 3．2 平均互信息及平均条件互信息
- 3．2．1 信道疑义度
- 3．2．2 平均互信息
- 3．2．3 平均条件互信息
- 3．3 平均互信息的特性
- 3．4 信道容量及其一般计算方法
- 3．4．1 离散无噪信道的信道容量
- 3．4．2 对称离散信道的信道容量
- 3．4．3 准对称信道的信道容量
- 3．4．4 一般离散信道的信道容量
- 3．5 信道容量的迭代算法
- 3．5．1 信道容量的迭代算法
- 3．5．2 信道容量迭代算法的收敛性
- 3．6 离散无记忆扩展信道及其信道容量
- 3．7 独立并联信道及其信道容量
- 3．8 串联信道的互信息和数据处理定理
- 3．9 信源与信道的匹配
- 小结
- 习题
- 第4章 波形信源和波形信道
- 4.1 波形信源的统计特性和离散化
- 4.2 连续信源和波形信源的信息测度
- 4.2.1 连续信源的差熵
- 4.2.2 连续平稳信源和波形信源的差熵
- 4.2.3 两种特殊连续信源的差熵
- 4.3 连续信源熵的性质及最大差熵定理
- 4.3.1 差熵的性质
- 4.3.2 具有最大差熵的连续信源
- 4.4 连续信源熵的变换
- 4.4.1 坐标变换后概率密度函数的变化
- 4.4.2 坐标变换后差熵的变化
- 4.5 熵功率
- 4.6 连续信道和波形信道的分类
- 4.6.1 按信道输入和输出的统计特性分类
- 4.6.2 按噪声的统计特性分类
- 4.6.3 按噪声对信号的作用功能分类
- 4.7 连续信道和波形信道的信息传输率
- 4.7.1 基本连续信道的平均互信息
- 4.7.2 多维连续信道的平均互信息
- 4.7.3 波形信道的信息传输率
- 4.7.4 连续信道平均互信息的特性
- 4.8 连续信道和波形信道的信道容量
- 4.8.1 单符号高斯加性信道
- 4.8.2 单符号非高斯加性信道
- 4.8.3 多维无记忆高斯加性连续信道
- ? 4.8.4 多维有记忆高斯加性连续信道
- 4.8.5 限带高斯白噪声加性波形信道
- ? 4.8.6 有色高斯加性波形信道
- 4.8.7 香农公式的重要实际指导意义
- 小结
- 习题
- 第5章 无失真信源编码定理
- 5.1 编码器
- 5.2 等长码
- 5.3 渐近等分割性和ε典型序列
- 5.4 等长信源编码定理
- 5.5 变长码
- 5.5.1 唯一可译变长码与即时码
- 5.5.2 即时码的树图构造法
- 5.5.3 克拉夫特(Kraft)不等式
- 5.5.4 唯一可译变长码的判断法
- 5.6 变长信源编码定理
- 小结
- 习题
- 第6章 有噪信道编码定理
- 6.1 错误概率和译码规则
- 6.2 错误概率与编码方法
- 6.2 联合ε典型序列
- 6.4 有噪信道编码定理
- 6.5 联合信源信道编码定理
- 小结
- 习题
- 第7章 保真度准则下的信源编码
- 7.1 失真度和平均失真度
- 7.1.1 失真度
- 7.1.2 平均失真度
- 7.2 信息率失真函数及其性质
- 7.2.1 信息率失真函数
- 7.2.2 信息率失真函数的性质
- 7.3 二元信源和离散对称信源的R(D)函数
- 7.3.1 二元对称信源的R(D)函?
- 7.3.2 离散对称信源的R(D)函数
- 7.4 信息率失真函数的参量表述及其计算
- 7.5 信息率失真函数的迭代算法
- 7.6 连续信源的信息率失真函数
- 7.6.1 连续信源的信息率失真函数
- 7.6.2 高斯信源的信息率失真函数
- 7.6.3 连续信源R(D)函数的参量表述及?计算
- 7.7 保真度准则下的信源编码定理
- 7.7.1 失真ε典型序列
- 7.7.2 保真度准则下信源编码定理的证明
- 7.8 联合有失真信源信道编码定理
- 7.9 限失真信源编码定理的实用意义
- 小结
- 习题
- 第8章 无失真的信源编码
- 8.1 霍夫曼（Huffman）码
- 8.1.1 二元霍夫曼码
- 8.1.2 r元霍夫曼码
- 8.1.3 霍夫曼码的最佳性
- 8.2 费诺（Fano）码
- 8.3 香农-费诺-埃利斯码
- 8.4 游程编码和MH编码
- 8.4.1 游程编码
- 8.4.2 MH编码
- 8.5 算术编码
- 8.6 字典码
- 8.6.1 LZ?77编码算法
- 8.6.2 LZ?78编码算法
- 8.6.3 LZW编码算法
- 8.6.4 LZ码复杂?和性能分析
- 小结
- 习题
- 第9章 信道的纠错编码
- 9.1 差错控制的基本形式
- 9.2 纠错码分类及基本概念
- 9.2.1 纠错码分类
- 9.2.2 纠错码的基本概念及其纠错能力
- 9.3 线性分组码
- 9.3.1 一致校验矩阵和生成矩阵
- 9.3.2 伴随式及标准阵列译码
- 9.3.3 汉明码
- 9.4 循环码
- 9.4.1 循环码结构及其多项式描述
- 9.4.2 循环码的生成多项式和生成矩阵
- 9.4.3 循环码的校验多项式和伴随式
- 9.4.4 循环码的编、译码器
- 9.5 卷积码
- 9.5.1 卷积码的解析表示
- 9.5.2 卷积码的图解表示
- 小结
- 习题
- 第10章 网络信息论
- 10.1 通信网信道的分类
- 10.2 多个随机变量的联合典型序列
- 10.3 相关信源编码
- 10.4 多址接入信道
- 10.4.1 离散多址接入信道
- 10.4.2 多址接入高斯噪声信道
- 10.5 相关信源和多址接入信道
- 10.5.1 相关信源和多址接入信道的对偶性
- 10.5.2 相关信源的多址接入信道
- 10.6 广播信道
- 10.7 中继信道
- 10.8 具有边信息的信源编码
- 10.9 具有边信息的数据压缩
- 小结
- 习题
- 第11章 保密系统的基本信息理论
- 11.1 保密学的基本概念
- 11.2 保密系统的数学模型
- 11.3 古典密码体制
- 11.3.1 单表密码
- 11.3.2 移位代换密码
- 11.3.3 乘数密码
- 11.3.4 固定周期d的位移置换
- 11.3.5 多表代换密码
- 11.4 完全保密性
- 11.5 理论保密性
- 11.6 实际保密性
- 小结
- 习题
- 第12章 信息论与其他学科的关系和应用
- 12.1 信息熵与热力学熵
- 12.2 信息论与光学
- 12.2.1 光学信息量
- 12.2.2 光量子信道的信道容量
- 12.2.3 最大熵光学图像恢复
- 12.3 最大熵原理与谱估计
- 12.3.1 高斯随机过程的熵率
- 12.3.2 伯格的最大熵定理
- 12.4 信息论与生命科学
- 12.4.1 DNA到蛋白质的通信系统
- 12.4.2 信息系数与信息分类
- 12.4.3 医学中的信息分析
- 小结
- 附录
- 附录A 凸函数和詹森不等式
- 附录B 马尔可夫链
- B.1 马尔可夫链的定义
- B.2 转移概率和转移矩阵
- B.3 各态历经定理
- 附录C 熵函数的函数表
- 附录D 所用符号及编写说明
- 参考书目和文献
