人工神经网络

对人类中枢神经系统的观察启发了人工神经网络这个概念。在人工神经网络中，简单的人工节点，称作神經元（neurons），连接在一起形成一个类似生物神经网络的网状结构。

人工神经网络目前没有一个统一的正式定义。不过，具有下列特点的统计模型可以被称作是“神经化”的：

• 具有一组可以被调节的权重（被学习算法调节的数值参数）
• 可以估计输入数据的非线性函数关系

这些可调节的权重可以被看做神经元之间的连接强度。

人工神经网络与生物神经网络的相似之处在于，它可以集体地、并行地计算函数的各个部分，而不需要描述每一个单元的特定任务。神经网络这个词一般指统计学、认知心理学和人工智能领域使用的模型，而控制中央神经系统的神经网络属于理论神经科学和计算神经科学。[1]

在神经网络的现代软件实现中，由生物学启发的方法已经有了很重大的延伸，現在主流的是基于统计学和信号处理的更加实用的方法。在一些软件系统中，神经网络或者神经网络的一部分（例如人工神经元）是大型系统中的一个部分。这些系统结合了适应性的和非适应性的元素。虽然这种系统使用的这种更加普遍的方法更适宜解决现实中的问题，但是这和传统的连接主义人工智能已经没有什么关联了。不过它们还有一些共同点：非线性、分布式、并行化，局部性计算以及适应性。从历史的角度讲，神经网络模型的应用标志着二十世纪八十年代后期从高度符号化的人工智能（以用条件规则表达知识的专家系统为代表）向低符号化的机器学习（以用动力系统的参数表达知识为代表）的转变。

沃伦·麦卡洛克和沃尔特·皮茨（1943）[2]基于数学和一种称为阈值逻辑的算法创造了一种神经网络的计算模型。这种模型使得神经网络的研究分裂为两种不同研究思路。一种主要关注大脑中的生物学过程，另一种主要关注神经网络在人工智能裡的应用。

典型的人工神经网络具有以下三个部分：

• 结构（Architecture）结构指定了网络中的变量和它们的拓扑关系。例如，神经网络中的变量可以是神经元连接的权重（weights）和神经元的激励值（activities of the neurons）。
• 激励函数（Activation Rule）大部分神经网络模型具有一个短时间尺度的动力学规则，来定义神经元如何根据其他神经元的活动来改变自己的激励值。一般激励函数依赖于网络中的权重（即该网络的参数）。
• 学习规则（Learning Rule）学习规则指定了网络中的权重如何随着时间推进而调整。这一般被看做是一种长时间尺度的动力学规则。一般情况下，学习规则依赖于神经元的激励值。它也可能依赖于监督者提供的目标值和当前权重的值。例如，用于手写识别的一个神经网络，有一组输入神经元。输入神经元会被输入图像的数据所激發。在激励值被加权并过一个函数（由网络的设计者确定）后，这些神经元的激励值被传递到其他神经元。这个过程不断重复，直到输出神经元被激發。最后，输出神经元的激励值决定了识别出来的是哪个字母。

神经元示意图：

• a1~an为输入向量的各个分量
• w1~wn为神经元各个突触的权重值(weight)
• b为偏置(bias)
• f为传递函数，通常为非线性函数。一般有traingd(),tansig(),hardlim()。以下默认为hardlim()
• t为神经元输出

数学表示 ${\displaystyle t=f({\vec {W'}}{\vec {A}}+b)}$

• ${\displaystyle {\vec {W}}}$为权向量，${\displaystyle {\vec {W'}}}$为${\displaystyle {\vec {W}}}$的转置
• ${\displaystyle {\vec {A}}}$为输入向量
• ${\displaystyle b}$为偏置
• ${\displaystyle f}$为传递函数

可见，一个神经元的功能是求得输入向量与权向量的内积后，经一个非线性传递函数得到一个标量结果。

单个神经元的作用：把一个n维向量空间用一个超平面分割成两部分（称之为判断边界），给定一个输入向量，神经元可以判断出这个向量位于超平面的哪一边。

该超平面的方程：${\displaystyle {\vec {W'}}{\vec {p}}+b=0}$

• ${\displaystyle {\vec {W}}}$权向量
• ${\displaystyle b}$偏置
• ${\displaystyle {\vec {p}}}$超平面上的向量[21]

人工神经网络是一个能够学习，能够总结归纳的系统，也就是说它能够过已知数据的实验运用来学习和归纳总结。人工神经网络过对局部情况的对照比较（而这些比较是基于不同情况下的自动学习和要实际解决问题的复杂性所决定的），它能够推理产生一个可以自动识别的系统。与之不同的基于符号系统下的学习方法，它们也具有推理功能，只是它们是建立在逻辑演算法的基础上，也就是说它们之所以能够推理，基础是需要有一个推理演算法则的集合。

通常来说，一个人工神经元网络是由一个多层神经元结构组成，每一层神经元拥有输入（它的输入是前一层神经元的输出）和输出，每一层（我们用符号记做）Layer(i)是由Ni(Ni代表在第i层上的N)个网络神经元组成，每个Ni上的网络神经元把对应在Ni-1上的神经元输出做为它的输入，我们把神经元和与之对应的神经元之间的连线用生物学的名称，叫做突触（英語：），在数学模型中每个突触有一个加权数值，我们称做权重，那么要计算第i层上的某个神经元所得到的势能等于每一个权重乘以第i-1层上对应的神经元的输出，然后全体求和得到了第i层上的某个神经元所得到的势能，然后势能数值过该神经元上的激活函数（activation function，常是∑函数（英語：）以控制輸出大小，因為其可微分且連續，方便差量规则（英語：）處理。），求出该神经元的输出，注意的是该输出是一个非线性的数值，也就是说过激励函数求的数值根据极限值来判断是否要激活该神经元，换句话说我们对一个神经元网络的输出是否线性不感兴趣。

一种常见的多层结构的前馈网络（Multilayer Feedforward Network）由三部分組成，

• 輸入層（Input layer），眾多神經元（Neuron）接受大量非線形輸入訊息。輸入的訊息稱為輸入向量。
• 輸出層（Output layer），訊息在神經元鏈接中傳輸、分析、權衡，形成輸出結果。輸出的訊息稱為輸出向量。
• 隱藏層（Hidden layer），簡稱「隱層」，是輸入層和輸出層之間眾多神經元和鏈接組成的各個層面。隱層可以有一层或多層。隱層的節點（神經元）數目不定，但數目越多神經網絡的非線性越顯著，從而神經網絡的強健性（控制系統在一定結構、大小等的參數攝動下，維持某些性能的特性）更顯著。習慣上會選輸入節點1.2至1.5倍的節點。

这种网络一般称为感知器（对单隐藏层）或多层感知器（对多隐藏层），神经网络的类型已经演变出很多种，这种分层的结构也并不是对所有的神经网络都适用。

通過訓練樣本的校正，對各個層的權重進行校正（learning）而建立模型的過程，稱為自動學習過程（training algorithm）。具体的学习方法则因网络结构和模型不同而不同，常用反向传播算法（Backpropagation/倒傳遞/逆傳播，以output利用一次微分Delta rule來修正weight）來驗證。

人工神經網络分類為以下兩種：

1.依學習策略（Algorithm）分類主要有：

• （Supervised Learning Network）為主
• （Unsupervised Learning Network）
• （Hybrid Learning Network）
• （Associate Learning Network）
• （Optimization Application Network）

2.依網络架構（Connectionism）分類主要有：

• 前馈神经网络（Feed Forward Network）
• 循环神经网络（Recurrent Network）
• 强化式架構（Reinforcement Network）

• 機器學習
• 深度學習
• 邏輯斯諦迴歸
• 線性迴歸

• 感知机
• 多层感知器
• ER随机图

• 人工智能

• 神經網絡介紹 （页面存档备份，存于）
• Performance comparison of neural network algorithms tested on UCI data sets （页面存档备份，存于）
• A close view to Artificial Neural Networks Algorithms （页面存档备份，存于）
• 开放式目录计划中和Neural Networks相关的内容
• A Brief Introduction to Neural Networks (D. Kriesel) - Illustrated, bilingual manuscript about artificial neural networks; Topics so far: Perceptrons, Backpropagation, Radial Basis Functions, Recurrent Neural Networks, Self Organizing Maps, Hopfield Networks.
• Neural Networks in Materials Science （页面存档备份，存于）
• A practical tutorial on Neural Networks （页面存档备份，存于）
• Applications of neural networks
• XOR實例 （页面存档备份，存于）