信息熵与最大熵原理.docx

信息熵与最大熵原理信息熵与最大熵原理弟卷水利电力科技第期信息嫡与最大嫡原理冯尚友武汉水利电力大学水能动力工程系’【摘要】本文从信息嫡概念出发论述了与概率论相联系的嫡如不确定性与其测度嫡的关系和条,,件嫡等并重点研讨了为社会自然科学中许多问题研究提供新理论工具的最大嫡原理及其应用的展望。、【关键词】嫡信息嫡条件嫡最大嫡原理信息墒在前文《嫡的微观解释与信息户中引入随机观念与统计力学方法后对嫡的本质理解具有极为重要的作用并为信息论中的信息嫡概念提供了前提信息嫡比热力嫡含义有更广泛更,。〕,,普遍性的意义因此信息嫡又称为广义嫡曼起来由于,。,,。通过系统状态的不确定性将信息与嫡联系起来它们之间的可测关系在的著名关系式,,,,年玻尔兹联系一中将嫡,,,与随机出现的微观态数目一尸即将嫡与概率尸联系起来从而提示了信息炳的存在年西拉德将嫡的减少同获得信息相联系并找出了嫡减少原因和通过麦克斯韦妖传给系统,。负嫡的现象预言了信息论的诞生年申农,飞与维纳,总结前人成果强调了信息量概念,。通过一申农的研究将信息嫡与统计嫡概念相联系提出了信息嫡或广义嫡公式艺、其中尸,为信息嫡这是为纪念玻尔兹曼著名的,定理而取名、为常数视选择、、,度量单位而定为系统处于某种状态的概率。,从而为热力嫡统计嫡进入信息生物经济,、社会等广阔领域开辟了道路申农提出信息嫡的思路是这个过程所产生的信息是多少。“在一个过程中能否定义一个量这个量在某种意义上能度量,或者更理想一点所产生的信息速率是多少,,”〔‘习他将嫡用来表述选择不确定性与随机现象的联系关系即把嫡作为随机现象不确定性的度量和信息量的量度度。在信息论中信息量是一个中心概念,,。。它的出发点是把获得的信息作为消除不确定性的测。因此信息量的大小可用被消除不确定性的多少来表示。而随机现象的不确定性特性可,,用概率分布函数来描述这就将信息嫡与广泛应用的概率论方法相联系从而更扩大了信息嫡的数学应用本文从信息嫡概念出发论述了与概率相联系的嫡如不确定性与嫡的关系和条件炳等国家自然科学基金资助项目,,信息消与最大炳原理‘并重点探讨了为自然社会科学及工程技术中许多问题研究提供新理论工具的最大嫡原理及其应用的展望。、不确定性与其测度墒一个随机试验可能出现多种结果其主要特点是事前无法确定究竟会出现哪种结果即,,随机现象具有不确定性,。但不同的随机试验所具有的不确定性是不同的,。如果我们能找到一。个量用以合理地作为不确定性的度量便可确定出各种随机试验的不确定性程度假设研究的随机试验只有有限个不相容的结果……。,,,,……,。,相应的概率为。,,,且艺‘一,如果存在测度。时可表示为,,,……它应该具备下列条件。对尸应是连续函数这是因为‘尸、的微小变化不应引起的巨大变化此外连续函。数也便于数学处理。若所有尸相等即尸一,‘青,,贝。将为。”的单调上升函数即又,于等概率事件状态越,多就有更多的选择或更大的不确定性,如果选择分为相继两个步骤那末原先的将等于各个、值的加权和这可用下例二’。来说明设某随机事件有三种结局相应概率为几,““万几’一万一一万川,尸,,,,为了确定究竟那个结果出现也可分两步选择第一步先确定是出现还是,或出现即,已尸尸,,显然,一尸,尸。若果然出现其概率为尸。,则选择结果完全确定无需再,,进行下一步试验或选择但若出现概率为尸则仍需进行下列选择才能最后确定结果。尸…立立尸尸,尸这个选择的不确定性程度为从这个例子说明中可直接从必要时再进行,,,一万拼瑞布毕二州产州一尸一,中选择,、,。,中那个结果出现若先从作起然后有,,,也可达到同样的目的说明两步作法所含的不确定程度是一样的即,、一一,、。月气’”’厂“””,一月‘,”,‘’“十’‘’尸,以”十”,月又。兀不了石尸尸十式中右边第二项的乘数的。十。为加权因子因为第二步选择是在总数的中进行满足上述条件的,申农给出具有下列形式一,,尸,…尸。一乙只只,。式中为正常数因此,量就是所谓的信息嫡或申农嫡是个广义嫡它给出的含第卷,水利电力科技,第期义是在未进行随机试验之前它是随机试验结果的不确定性量度在事件出现后它是从该事件中所得到的信息量度或信息量事实上在一个随机试验一,。中如果在所有结果中的任一个等于,,,其余的等于零时则嫡,,可对事件结果作出肯定的预言而不存在任何的不确定性如果是其它情况嫡恒大于,零如事先对结果毫无所知所有的尸都相等即尸一。,?‘、,,一,,…动则,,将达到极大值相互独立则,在这种极限情况下随机试验结果具有最大的不确定性如果随机试验一和也是成立的性,。从以上的这些信息嫡的基本性质看它随具有热力嫡的基本性质单值性可加性和极值但信息嫡的定义却独立于热力嫡的概念因此具有更广泛和普适性的意义下面进一步讨论条件嫡的间题设,、,、,,。,。两个随机试验以,,‘作为试验。出现结果的条件下试验,