信息的度量
信息的度量和不确定性消除的程度有关
不确定性的程度与事件发生的概率有关
信息量与概率的关系:
信息量是概率的单调递减函数
概率小,信息量大
概率大,信息量小
自信息量的物理含义
自信息量表示事件发生后,该事件给予观察者的信息量。
自信息量的大小取决于事件发生的概率。事件发生的可能性越大,它所包含的信息量就越小。反之,事件发生的概率越小,它能提供的信息量就越大。
信息的度量和不确定性消除的程度有关
不确定性的程度与事件发生的概率有关
信息量与概率的关系:
信息量是概率的单调递减函数
概率小,信息量大
概率大,信息量小
自信息量的物理含义
自信息量表示事件发生后,该事件给予观察者的信息量。
自信息量的大小取决于事件发生的概率。事件发生的可能性越大,它所包含的信息量就越小。反之,事件发生的概率越小,它能提供的信息量就越大。
大小:48.1 MB
PDF超清版
肖文博主编的 《统计信息化--Excel与SPSS应用 》 的编写目的就是为高等院校学生运用Excel和SPSS 进行数据处理和分析提供一个指南,一方面努力使读 者能够迅速地掌握使用Excel和SPSS进行统计分析
大小:19.6 MB
PDF修订完整版
这书对网络安全与信息保密作了较为全方位系统软件的科学研究和详细介绍。全书共六章,各自对网络安全与信息保密、登陆密码技术性、防火墙技术、虚拟专用网技术性、病毒感染与反病毒
大小:2800 MB MB
PDF版
大小:8768 MB MB
PDF版
大小:1.3GB MB
PDF高清版
ArcGIS Engine地理信息系统开发教程 基于ArcGIS Engine 10,以C#.NET 2010为开发语言进行讲解。内容包括ArcGIS Engine编程基础、GIS应用软件的开发方式、地图基本操作、查询统计、地图制图、数据编辑、空
大小:7123 MB MB
PDF版
本书结合我国信息化发展和政府改革的时代背景,系统地论述了电子政务顶层设计的基本框架与方法体系。全书分为八章,在分析国内外理论体系与实践现状的基础上,阐明了我国电子政务顶层设计的目标与推进策略,构建了顶层设计的基本框架,并对框架内各架构的具体设计方法进行了详细阐述,探讨了电子政务顶层设计成果的应用方式,最后系统介绍福建省和上海市电子政务顶层设计实践的相关思路与方法。
非常精彩,之前一直想要了解内存管理,对象的销毁这些别的书一般都不讲的东西,这下一次性都学习了。作者很有心,有的内容不仅给了自己的实现,而且还有参考书籍或者开源库推荐
好吧。这是一本号称2020年出版,实际上2019年就能买到的穿越书 书很薄,细节很少,但是覆盖面很广,而且内容也挺新。可以看得出来,原著作者还是挺牛逼的,基本上各种算法的精髓都降到了 不过翻译有点外行了。好多名词翻译得很诡异。。。感觉不是业内人士
之前在网上看到有人问 Derby SQL 分页实现的问题,网上有人给出这样的解决方案,SQL 如下:SELECT * FROM ( SELECT ROW_NUMBER() OVER() AS rownum, myLargeTable.* FROM myLargeTable)AS tmpWHERE rownum > 200000 AND rownum <= 200005;其实……
Excel 最重要的应用就是利用公式进行计算。无论输入是纯粹的数字运算,还是引用其他单元格计算,只要在一个单元格中输入公式,就能得到结果。比如说在做工程施工的预结算编写,使用Excel,既要写出工程量的计算式,也要看到它的结果,于是这样相同的公式在Excel里面要填两次,一次在文本格式的单元格中输入公式,一次是在数据格式的单元格中输入公式让Excel计算结果。如何既能看到公式又能看到结果呢?这个问……
1.2 几种常用的数制十进制、二进制、八进制和十六进制是常用的数制。一、 十进制数十进制数每一位有0~9十个数码,计数的基数是10,逢十进一。超过9的数必须用多位数表示。例题1: (143.75)10=1×10^2+4×10^1+3×10^0+7×10^-1+5×10^-2二、二进制数二进制数每一位有0、1两个数码,计数的基数是2,逢二进……
信息论基础
1、熵和信息量
有一组离散符号集{v1,v2,...,vm},每个符号具有相应概率Pi,为衡量这组符号组成的特定序列的随机性(不确定性或不可预测性),定义离散分布的熵:,对数以2为底,熵的单位的“比特”,当连续情况时,底数为e,单位为“奈特”。对于回答是否问题时,每个可能答案出现概率为0.5,那么此时的熵为1。熵的公式也可写为:H=ε[log(1/P)],P是随机变量,取值P1,P2,...Pm,log21/P有时称惊奇率。
熵的值并不依赖与符号本身,而只依赖于这些符号的概率。对于给定的m个符号,当这些符号出现的概率相同时,熵最大(H=log2m)。即当每个符号出现的概率相同时,对下一个符号出现什么的不确定性最大。只有一个符号的概率为1,其他为零时,熵最小,为0。
对连续情况熵定义为:
数学期望形式为H=ε[ln(1/p)]。在所有的连续密度函数中,如果均值μ和方差σ2都取已知的固定值,高斯分布使熵达到最大值H=0.5+log2(根号下2π乘以σ)。如果让方差趋近0,则高斯函数将趋近于狄拉克函数,此时熵最小为负无穷大。对于狄拉克函数的分布,几乎能确定每次出现的x的值就是a。
对于随机变量x和任意函数f(·),有H(f(x))≤H(x),即对原始信号的任何处理都不能增加熵(信息量)。若f(x)是取常值的函数,则熵为0。离散分布熵的另一个重要性质:任意改变事件标记,不会影响这组符号的熵,因为熵只与符号出现概率有关,与符号本身无关。但对于连续随机变量则不一定成立。2、相对熵
假设对同一离散变量x,有2种可能形式的离散概率分布p(x)和q(x)。为了衡量这两个分布之间的距离,定义相对熵(Kullback-Leiber距离):连续情况下相对熵定义为:
相对熵不是一个真正的度量,因为把p和q互相交换时,DKL并不具有对称性
3、互信息
假设有两个不同变量概率分布,p(x)和q(x)。互信息指在获得一个变量的信息后,对另一个变量的不确定性的减少的量