1、第11章 神经网络,11.3 神经网络,神经网络的本质是两阶段非线性统计模型,11.3 神经网络,Z称为导出特征，在神经网络中也成为隐藏层。先由输入的线性组合创建Z，再以Y为目标用Z的线性组合建立模型,11.3 神经网络,激活函数（）的选取 神经网络源于人脑开发模型，神经元接收到的信号超过阀值时被激活。由于需要光滑的性质，阶梯函数被光滑阀函数取代。,11.3 神经网络,输出函数 是对于向量T的最终变换，早期的K分类使用的是恒等函数，后来被softmax函数所取代，因其可以产生和为1的正估计。,11.2 投影寻踪模型,投影寻踪模型是神经网络模型的特例 先将X投影于某一方向，再用得到的标量进行回归
2、 M=1时在经济学中称为单指标模型 M任意大时可以任意好的逼近空间中的任意连续函数,11.2 投影寻踪模型,如何拟合投影寻踪模型 目标：误差函数的近似极小值为避免过分拟合，对于输出函数g需要限制 M的值通常作为前向分布策略的一部分来估计， 也可以由交叉验证来估计。,11.2 投影寻踪模型,M=1时，首先给定一个投影方向的初值，通过光滑样条估计g 给定g， 在误差函数上对投影方向做极小化舍弃了二阶导数之后，再带入误差函数得对于右端进行最小二乘方回归，得到投影方向的新估计值，重复以上步骤得到,11.4 神经网络的拟合,未知参数称为权，用表示权的全集 对于回归和分类问题，我们分别使用误差的平方和，平
3、方误差或互熵（离散）作为拟合的度量,11.4 神经网络的拟合,通常R（）的全局最小化很可能是一个过分拟合，所以需要正则化，使用惩罚项或是提前停止优化 极小化R（）的一般方法是梯度下降，在此情况下称作反向传播,11.4 神经网络的拟合,平方误差损失的反向传播细节具有导数,11.4 神经网络的拟合,使用梯度下降法迭代，在第（r+1）次时有如下公式,11.4 神经网络的拟合,如果将迭代前的公式写成如下形式其中 和 分别是当前模型输出层，隐藏层的“误差”，并且满足,11.4 神经网络的拟合,上面的关系称作反向传播方程 向前传递时固定当前权值，计算预测值 向后传递是计算误差 ，进而又得到 最后使用更新的
4、误差值计算更新的梯度 反向传播方法具有简单性和局部特性，每个隐藏单元只传递信息,11.4 神经网络的拟合,迭代公式中的称为学习率，此种迭代更新称为批学习 对于批学习，学习率通常去常数，也可以在每次更新的时候通过极小化误差函数的线搜索来优化 使用在线学习，学习率应随迭代次数递减到零,11.5 神经网络训练的一些问题,初始值 如果权值接近于0，则S型函数的运算大多是线性的，并且随着权值的增加变成非线性的 权值恰为0导致0导数和良好的对称性，且算法永远不会前进，而以大权值开始常常导致很差的解,11.5 神经网络训练的一些问题,过分拟合 权衰减是一种更加直接的正则化方法 将惩罚项加入误差函数得到是大于
5、0的调整参数，较大的值使权值向0收缩。 的值由交叉验证估计，其作用是在梯度下降的递推式中加入 和,11.5 神经网络训练的一些问题,输入的scale对于结果的影响 最好对于所有的输入都进行标准化，这个可以保证在正则化过程中平等的对数据进行处理，而且为随机初值的选择提供一个有意义的值域 一般在 -0.7, 0.7上面随机选取均匀的权值,11.5 神经网络训练的一些问题,隐藏单元和层的数目：隐藏单元过少则模型可能不具备足够的灵活性，如果隐藏单元过多，则多余的收缩到0. 一般来说隐藏单元的数量在5到100之间，可以取合理大的数量，在用正则化加以训练，使得多余的变作0.,11.6 模拟数据,11.6 模拟数据,11.6 模拟数据,11.6 模拟数据,11.6 模拟数据,ZIP编码数据,11.6 模拟数据,11.6 模拟数据,11.6 模拟数据,11.6 模拟数据,观众朋友们， 再见！,
