信息论与编码

熵的基本性质 1. 非负性：H(X) ≥ 0 熵描述的是某个集合统计意义上的不确定性，是自信息的加权平均。 而我们在一开始寻找描述不确定性的函数，引出自信息量概念的时候，便要求自信息的取值应在[0，+∞]。 故，熵作为自信息的加权平均，自然也是非负的。 2. 确定性：H(1,0)=H(1,0,0)=……=H(1,0,0,…,0)=0 ①根据熵的定义式，可知H(1,0)=1*log1=0 ②根据熵的...

离散信源 信源即信息发出的源头，在后续的信道模型中，信源发出的信息即视为信道输入的信息。 根据信源发出信息的取值，可将信源分为离散信源和连续信源。 顾名思义，离散信源即发出的信息取值为离散型的信源；连续信源即发出的信息取值为连续型的信源。 离散信源中又根据符号出现的概率是否与前面符号有关分为：离散无记忆信源和离散有记忆信源。 信息熵 前面已经了解过了自信息的概念。 自信息表示的是某个事件的不确定...

自信息 可寻得自信息定义式为： 、 当 r = 2 时，自信息单位为比特（bit） 当 r = e 时，自信息单位为奈特（nat） 当 r = 10时，自信息单位为哈特（hart） 自信息的意义 若 a 未发生，则 I(a) 表示a发生的不确定性； 若 a 已发生，则 I(a) 表示a提供的信息量。 自信息与概率 自信息描述的是事物的不确定度，而概率论是数学中描述不确定性的部分。自信息的数学描述...

@从现实世界到信息世界：信息 信息 日常生活中，我们很少刻意区分信息和消息。人五官所感所得，皆可被我们归为信息，且核心在于信息在自然世界与人之间传输，被我们主观意识所捕获的那个get的瞬间。 如果要加以区分。 信息不等同于情报； 信息不等同于知识； 信息不等同于消息； 信息不等同于信号； 信息、消息、信号 将客观物质运动和主观思维活动的状态以人所能感知的形式（如: 文字、图像、符号、数据、语言、音...