信息论概述与机械工程中的信息论.docx

信息论概述与机械工程中的信息论

第一篇：信息论概述与机械工程中的信息论信息论概述与机械工程中的信息论摘要信息论是一门新兴学科，是在长期的通信工程实践中，与通信技术、概率论、随机过程和数理统计相结合逐步发展起来的一门学科。信息论中主要的概念包括信息，自信息，互信息和信息熵。本文介绍了信息论的产生和发展，简要介绍了信息论几个主要概念的定义和推导，重点介绍了信息熵，最后讨论了信息论相关知识在机械工程专业的应用。关键词：信息论，信息熵，机械工程专业第一章绪论§1-1引言人类的社会生活是不能离开信息的，人类不仅时刻需要从自然界获得信息，而且人与人之间也需要进行通讯，交流信息，离开信息，人类就不能生存。人们获得信息的方式有两种；一种是直接的，即通过自己的感觉器官，耳闻、目睹、鼻嗅、口尝、体触等直接了解外界情况；一种是间接的，即通过语言、文字、信号„„等等传递消息而获得信息。在人类社会的早期，只应用语言手势直接交流信息，但随着社会的进步，尤其是科学水平的进步，传统的信息获取方式已经不能满足人类的发展要求，人类开始探索快速有效地获取信息的方法，从而导致了一门新的学科——信息论的诞生。§1-2信息论信息论是关于信息的本质和传输规律的科学的理论，是研究信息的计量、发送、传递、交换、接收和储存的一门学科。1-2-1信息论的诞生和发展信息论的创始人是美贝尔电话研究所的数学家香农（C.E.Shannon1916——），他为解决通讯技术中的信息编码问题，把发射信息和接收信息作为一个整体的通讯过程来研究，提出通讯系统的一般模型；同时建立了信息量的统计公式，奠定了信息论的理论基础。1948年香农发表的《通讯的数学理论》一文，成为信息论诞生的标志。其实，1922年卡松就提出边带理论，指明信号在调制（编码）与传送过程中与频谱宽度的关系。1922年哈特莱发表《信息传输》的文章，首先提出消息是代码、符号而不是信息内容本身，使信息与消息区分开来，并提出用消息可能数目的对数来度量消息中所含有的信息量，为信息论的创立提供了思路。香农创立信息论，实际是在前人研究的基础上完成的。在信息论的发展中，还有许多科学家对它做出了卓越的贡献。法国物理学家L.布里渊（L.Brillouin）1956年发表《科学与信息论》专著，从热力学和生命等许多方面探讨信息论，使热力学中争论了一个世纪之久的“麦克斯韦尔妖”的佯谬问题得到了满意的解释。英国神经生理学家（W.B.Ashby）1964年发表的《系统与信息》等文章，还把信息论推广应用于生物学和神经生理学领域，也成为信息论的重要著作[1]。这些科学家们的研究，以及后来从经济、管理和社会的各个部门对信息论的研究，使信息论远远地超越了通讯的范围。1-2-2信息论的发展现状信息论近期发展的主要特点是向多学科结合方向发展，其重要的发展方向有如下几种：（1）信息论与密码学通信中的安全与保密问题是通信编码问题的又一种表示形式，由香农提出的保密系统模型仍然是近代密码学的基本模型。（2）算法信息论与分形数学由于香农熵，柯尔莫哥洛夫与豪斯道夫位数的等价性在理论上已经得到证明，从而使信息论，计算机科学与分形理论都找到了他们的汇合点。（3）信息论在统计与智能计算中的应用信息论与统计理论的结合已经有许多突出的成果出现。其主要特点是统计理论正在从线性问题转向非线性问题，信息的度量可以作为研究非线性问题的工具，如果用交互信息来取代统计中的相关系数，更能发现二维随机变量的相互依赖程度。智能计算中的信息统计问题，信息量与统计存在许多本质的联系，在微分流形中，Fisher信息矩阵式Kullback-Laiber熵的偏微分，由此关系而引出的信息几何理论是智能计算的基础[2]。§1-3自信息与互信息香农在《通信的数学理论》引言部分就提出“通信中的基本问题就是在某一点精确或近似的再生另一点选择的信息”。未解决这一问题，他在这篇论文中开创性的利用概率论、数理统计、随机过程建立了通信系统的数学模型，提出了自信息、互信息、信息熵等概念，这一部分我们将重点讨论自信息与互信息，信息熵留待下一部分具体描述。1-3-1自信息用I（xi）=log（1/pi）表示信源发出的符号xi的自信息。自信息具有两个含义：当符号xi输出前，表示符号xi被输出的不确定性；当符号xi输出后，表示符号xi所含有的信息量[3]。1-3-2互信息互信息有三个不同角度的定义。从信源出发的定义：站在信源一端，当信源没有发送时，信息发送方对信宿收到符号yi的不确定度是I（yi）；而当信源发送符号xi后，信息发送方对信宿收到符号yi的不确定度是I（yi|xi），从这个意义上定义互信息。从信宿出发对互信息的定义：站在信宿一端，当没有接收时，信息接收方对信源发送符号xi的不确定度是I（yi）；而当信宿接收到符号yi，信息接收方对信源发