Sigmoid函数.doc

Sigmoid函数，即f(x)=1/(1+e-x)。神经元的非线性作用函数。

人工神经网络的学习算法-BP算法
神经网络的学习是基于一组样本进行的，它包括输入和输出（这里用期望输出表示），输入和输出有多少个分量就有多少个输入和输出神经元与之对应。最初神经网络的权值（Weight）和阈值（Threshold）是任意给定的，学习就是逐渐调整权值和阈值使得网络的实际输出和期望输出一致。
我们假设样本有P个，输入层有N个神经元，隐含层有K个神经元，输出层有M个神经元。Xj为输入层神经元j的输入，Hj为隐含层神经元j的输出，Fj为输出层神经元j的实际输出，Rj为输出层神经元j的期望输出，前一层的输出即为后一层的输入。Whji是输入层神经元i与隐含层神经元j之间的连接权值，Thj是隐含神经元j的阈值，Woji是隐含层神经元i与输出层神经元j之间的连接权值，Toj是输出神经元j的阈值。神经元的非线性作用函数是Sigmoid函数，即f(x)=1/(1+e-x)。

神经元与神经元模型的s特性函数
假如人的记忆思维认知情感等特性最终只是大量神经元的整体行为，那么了解单个神经元的特性就是理解大脑活动必须的一个过程。本帖试图从神经元以及其链结入手，梳理系统一下这一段时间看到的有关神经网络方面的常识性知识。神经元我们知道，尽管不同神经元的形态差异很大，但其结构却基本一致，大体上可分为胞体，树突和轴突。其中树突负责接受输入信号；轴突负责输出信号；而胞体负责加工处理信号。树突和轴突在形态和功能上有很大的差异：1，树突一般较短，而轴突较长。2，树突常有多个，而每一个都是胞体的直接延伸，然后再分叉；而轴突只有一个，尽管轴突末端也有分叉结构。3，无论是轴突还是树突，它们传递信息的方式都是峰值电脉冲。不过树突只能由树突末梢传向胞体，而轴突只能由胞体传向轴突末梢。也就是说，它们都是单向传递。4，由于树突的结构形态，不同的树突传递的电脉冲峰值可以不同。同样，由于轴突的结构形态，轴突传递的电脉冲峰值是一样的，尽管这个电脉冲会因轴突分叉分别传递给不同的轴突末梢。5，对于大多数神经元来说（假如不能说全部的话），树突传送的电脉冲信号会随着树突长度而衰减；而轴突传递的信号则保持峰值不变，也就是说，所有的轴突末梢信号强度都是一样的。至于为什么树突和轴突会有这么大功能性差异，他们的生理基础是什么，我现在看到的资料还没有给出下一层细节上的解释（除了膜电位机理）。好在了解神经元主要特性不需要探究那么深，这些初步知识已经基本够用了。至于胞体接受到不同树突不同峰值输入信号后，它是如何响应并输出一个信号，这个输出信号和输入信号是什么函数关系，也要先放一放再说。接下来的思路是，峰值信号是如何从一个神经元的轴突末梢，传递到另一个神经元的树突末梢上？这个问题的关键就是突触和囊泡。我们知道，轴突末梢的突触和树突末梢并不是直接联结在一起，它们之间有一个微小的间隙；当电信号到达后轴突末梢的突触时，就刺激释放了囊泡（至于释放多少是和电信号峰值有关）到突触裂隙中，而囊泡里面化学物质刺激激发树突末梢上的离子门开关状态，而离子门的开关导致了树突末梢的电位变化，这样就完成一个神经元影响另一个神经元的过程。那么，囊泡里面的化学成分有哪些呢？最主要的化学成分是谷氨酸（味精主要成分），其次是γ-氨基丁酸（GABA）。这两种化学成分的功效是截然不同的，其中谷氨酸能够引起下一个神经元兴奋，而γ-氨基丁酸则会抑制下一个神经元兴奋程度。不过，这2种成分不是同时存在于一个神经元轴突末梢突触内（至少现在还没有发现这样的例子）。也就是说，要么一个神经元向与它轴突末梢接触的其他神经元传递兴奋信号，要么传递抑制信号。但这并不意味着某个神经元就是要兴奋或者抑制，因为它树突末梢接受的信号即可以是兴奋信号，也可是抑制信号，毕竟树突有多个，可以有不同的输入。至于神经元到底是兴奋还是抑制，就要看哪方占优势了。拥有谷氨酸的神经元和γ-氨基丁酸的神经元比例大约是5：1，脑中大多数神经元都是这2种类型。那么，我们人类最基本的能力，记忆，是一个什么机理呢？这就要涉及到一个称为NMDA的离子通道，它是离子门里一种。离子门有很多种，最基本的就是保持神经元膜电位那种控制纳钾离子浓度的离子门，它让膜电位保持在-70毫伏上（神经元内部相对于外部）。相对于轴突突触分为兴奋和抑制2种类型，树突上也分别对应了2种不同的离子门来作为受体。其中兴奋性受体又分为几类，其中大多数兴奋性受体只需谷氨酸这一个条件即产生反应。很有意思的是，有这么一种受体需要2个条件，即谷氨酸和膜电位联合刺激才能反应，这种特殊的离子门受体不在树突末梢的尖端，而位于树突末梢中段靠近尖端的侧面。这个形态结构导致了这样一个结果，仅有谷氨酸和峰值膜电位，都不能打开NDMA离子门；必须离子门接收到了谷氨酸