机器学习之——神经网络模型

之前我们了解了神经网络模型(Nerual Network)，这一次，我们来具体讨论一下神经网络模型的表达。

我们知道，神经网络模型是许多逻辑单元(Logistics Unit)按照不同的层级组织起来的网络，每一层的输出变量作为下一层的输入变量。如下图，是一个三层的神经网络，第一层为输入层(Input Layer)，最后一层为输出层(Output
Layer)，中间的一层为隐藏层(Hidden Layer)。我们为每一层都增加一个偏倚单位(Bias Unit)：

下面呢，我们引入一些标记法来帮助我们描述模型：

对于上面的图示的模型，激活单元和输出分别表达为：

到目前，我们讨论的只是将特征矩阵中的一行（也就是一个训练实例）喂给了神经网络，事实上我们需要将整个训练集都喂给我们的神经网络算法来学习模型。

正向传播(Forward Propagation)

相对于使用循环来进行编码，利用向量化的方法会使得计算更为简单快捷。

我们就使用上面的神经网络为例，试着计算第二层的值：

我们令：

则：

计算之后添加：

则计算输出的值为：

我们令：

则：

这只是针对训练集中一个训练实例所进行的计算。如果我们要对整个训练集进行计算，我们需要将训练集特征矩阵进行转置，使得同一个实例的特征都在同一列里，即：

对神经网络的一些理解

从本质上讲，神经网络能够通过学习得出其自身的一系列特征。在之前我们讨论过的普通的逻辑回归(Logistic Regression)中，我们被限制为使用数据中的原始特征x1,x2,...,xn，我们虽然可以使用一些二项式项来组合这些特征，但是我们仍然受到这些原始特征的限制。在神经网络中，原始特征只是输入层，像我们上面的那个三层神经网络的例子中，第三层，也就是输出层，做出的预测利用的是第二层的特征，而非输入层中的原始特征，我们可以认为第二层中的特征是神经网络通过学习之后，自己得出的一系列用于预测输出变量的新特征。

神经网络的一些示例：二元逻辑运算符(Binary Logical Operators)

当输入的特征为布尔值（0或1）时，我们可以使用一个单一的激活层可以作为二元逻辑运算符，为了表示不同的运算符，我们只需要选择不同的权重即可。

如下图，神经元（三个权重分别为-30，20，20）可以被视为作用同逻辑与(AND)：