René's URL Explorer Experiment

{"@context":"https://schema.org","@type":"DiscussionForumPosting","headline":"神经网络学习到的是什么？（Python）","articleBody":"神经网络（深度学习）学习到的是什么？一个含糊的回答是，学习到的是数据的本质规律。但具体这本质规律究竟是什么呢？要回答这个问题，我们可以从神经网络的原理开始了解。\r\n\r\n## 一、 神经网络的原理\r\n\r\n\r\n神经网络学习就是一种特征的表示学习，把原始数据通过一些简单非线性的转换成为更高层次的、更加抽象的特征表达。深度网络层功能类似于“生成特征”，而宽度层类似于“记忆特征”，增加网络深度可以获得更抽象、高层次的特征，增加网络宽度可以交互出更丰富的特征。通过足够多的转换组合的特征，非常复杂的函数也可以被模型学习好。\r\n![](https://img-blog.csdnimg.cn/img_convert/cd308e9dfc9c1fb2027f7fad77a8d164.png)\r\n\r\n**可见神经网络学习的核心是，学习合适权重参数以对数据进行非线性转换，以提取关键特征或者决策。即模型参数控制着特征加工方法及决策**。 了解了神经网络的原理，我们可以结合项目示例，看下具体的学习的权重参数，以及如何参与抽象特征生成与决策。\r\n\r\n\r\n## 二、神经网络的学习内容\r\n\r\n### 2.1 简单的线性模型的学习\r\n我们先从简单的模型入手，分析其学习的内容。像线性回归、逻辑回归可以视为单层的神经网络，它们都是广义的线性模型，可以学习输入特征到目标值的线性映射规律。\r\n\r\n如下代码示例，以线性回归模型学习波士顿各城镇特征与房价的关系，并作出房价预测。数据是波士顿房价数据集，它是统计20世纪70年代中期波士顿郊区房价情况，有当时城镇的犯罪率、房产税等共计13个指标以及对应的房价中位数。\r\n![](https://img-blog.csdnimg.cn/img_convert/eff335b972c6e059674f610206fbbd61.png)\r\n\r\n```\r\nimport pandas as pd \r\nimport numpy as np\r\nfrom keras.datasets import boston_housing #导入波士顿房价数据集\r\n\r\n\r\n(train_x, train_y), (test_x, test_y) = boston_housing.load_data()\r\n\r\nfrom keras.layers import *\r\nfrom keras.models import Sequential, Model\r\nfrom tensorflow import random\r\nfrom sklearn.metrics import  mean_squared_error\r\n\r\nnp.random.seed(0) # 随机种子\r\nrandom.set_seed(0)\r\n\r\n# 单层线性层的网络结构（也就是线性回归）：无隐藏层，由于是数值回归预测，输出层没有用激活函数；\r\nmodel = Sequential()\r\nmodel.add(Dense(1,use_bias=False))  \r\n\r\n\r\nmodel.compile(optimizer='adam', loss='mse')  # 回归预测损失mse\r\n\r\n\r\nmodel.fit(train_x, train_y, epochs=1000,verbose=False)  # 训练模型\r\nmodel.summary()\r\n\r\npred_y = model.predict(test_x)[:,0]\r\n\r\nprint(\"正确标签：\",test_y)\r\nprint(\"模型预测：\",pred_y )\r\n\r\nprint(\"实际与预测值的差异：\",mean_squared_error(test_y,pred_y ))\r\n```\r\n通过线性回归模型学习训练集，输出测试集预测结果如下：\r\n![](https://img-blog.csdnimg.cn/img_convert/4404dc80f3dea874d74c55947e2e1641.png)\r\n分析预测的效果，用上面数值体现不太直观，如下画出实际值与预测值的曲线，可见，整体模型预测值与实际值的差异还是比较小的（模型拟合较好）。\r\n```\r\n#绘图表示\r\nimport matplotlib.pyplot as plt\r\n\r\nplt.rcParams['font.sans-serif'] = ['SimHei']\r\nplt.rcParams['axes.unicode_minus'] = False\r\n\r\n# 设置图形大小\r\nplt.figure(figsize=(8, 4), dpi=80)\r\nplt.plot(range(len(test_y)), test_y, ls='-.',lw=2,c='r',label='真实值')\r\nplt.plot(range(len(pred_y)), pred_y, ls='-',lw=2,c='b',label='预测值')\r\n\r\n# 绘制网格\r\nplt.grid(alpha=0.4, linestyle=':')\r\nplt.legend()\r\nplt.xlabel('number') #设置x轴的标签文本\r\nplt.ylabel('房价') #设置y轴的标签文本\r\n\r\n# 展示\r\nplt.show()\r\n```\r\n![](https://img-blog.csdnimg.cn/img_convert/20d72e4f7e843ca29caee1c2f61be193.png)\r\n\r\n回到正题，我们的单层神经网络模型（线性回归），在数据（波士顿房价）、优化目标（最小化预测误差mse）、优化算法（梯度下降）的共同配合下，从数据中学到了什么呢？\r\n\r\n我们可以很简单地用决策函数的数学式来概括我们学习到的线性回归模型，预测y=w1*x1 + w2*x2 + wn*xn。通过提取当前线性回归模型最终学习到的参数：\r\n![](https://img-blog.csdnimg.cn/img_convert/718884c8ae10aa1e7b2b8757f0e610a5.png)\r\n将参数与对应输入特征组合一下，我们忙前忙后训练模型学到内容也就是——权重参数，它可以对输入特征进行**加权求和输出预测值决策**。如下我们可以看出预测的房价和犯罪率、弱势群体比例等因素是负相关的：\r\n**预测值 = [-0.09546997]*CRIM|住房所在城镇的人均犯罪率+[0.09558205]*ZN|住房用地超过 25000 平方尺的比例+[-0.01804003]*INDUS|住房所在城镇非零售商用土地的比例+[3.8479505]*CHAS|有关查理斯河的虚拟变量（如果住房位于河边则为1,否则为0 ）+[1.0180658]*NOX|一氧化氮浓度+[2.8623202]*RM|每处住房的平均房间数+[0.05667834]*AGE|建于 1940 年之前的业主自住房比例+[-0.47793597]*DIS|住房距离波士顿五大中心区域的加权距离+[0.20240606]*RAD|距离住房最近的公路入口编号+[-0.01002822]*TAX 每 10000 美元的全额财产税金额+[0.23102441]*PTRATIO|住房所在城镇的师生比例+[0.0190283]*B|1000(Bk|0.63)^2,其中 Bk 指代城镇中黑人的比例+[-0.66846687]*LSTAT|弱势群体人口所占比例**\r\n\r\n\r\n\r\n小结：单层神经网络学习到各输入特征所合适的权重值，根据权重值对输入特征进行加权求和，输出求和结果作为预测值（注：逻辑回归会在求和的结果再做sigmoid非线性转为预测概率）。\r\n\r\n### 2.2 深度神经网络的学习\r\n\r\n深度神经网络（深度学习）与单层神经网络的结构差异在于，引入了层数\u003e=1的非线性隐藏层。从学习的角度上看，模型很像是boosting集成学习方法——以上一层的神经网络的学习结果，输出到下一层。而这种学习方法，就可以学习到非线性转换组合的复杂特征，达到更好的拟合效果。\r\n\r\n对于学习到的内容，他不仅仅是利用权重值控制输出决策结果--f(W*X)，还有比较复杂多层次的特征交互, 这也意味着深度学习不能那么直观数学形式做表示--它是一个复杂的复合函数f(f..f(W*X))。\r\n![](https://img-blog.csdnimg.cn/img_convert/42073ce52ea7f67cf3359120ef2f4b10.png)\r\n\r\n如下以2层的神经网络为例，继续波士顿房价的预测：\r\n![](https://img-blog.csdnimg.cn/img_convert/7690ae03f1ed8f659a0321bb39c76a24.png)\r\n注：本可视化工具来源于https://netron.app/\r\n\r\n```\r\nfrom keras.layers import *\r\nfrom keras.models import Sequential, Model\r\nfrom tensorflow import random\r\nfrom sklearn.metrics import  mean_squared_error\r\n\r\nnp.random.seed(0) # 随机种子\r\nrandom.set_seed(0)\r\n\r\n\r\n# 网络结构：输入层的特征维数为13，1层relu隐藏层，线性的输出层；\r\nmodel = Sequential()\r\nmodel.add(Dense(10, input_dim=13, activation='relu',use_bias=False))   # 隐藏层\r\nmodel.add(Dense(1,use_bias=False))  \r\n\r\n\r\nmodel.compile(optimizer='adam', loss='mse')  # 回归预测损失mse\r\n\r\n\r\nmodel.fit(train_x, train_y, epochs=1000,verbose=False)  # 训练模型\r\nmodel.summary()\r\n\r\npred_y = model.predict(test_x)[:,0]\r\n\r\nprint(\"正确标签：\",test_y)\r\nprint(\"模型预测：\",pred_y )\r\n\r\nprint(\"实际与预测值的差异：\",mean_squared_error(test_y,pred_y ))\r\n```\r\n![](https://img-blog.csdnimg.cn/img_convert/50248bfb90de2c7398317f62e73193a3.png)\r\n\r\n\r\n\r\n可见，其模型的参数--190远多于单层线性网络--13；学习的损失函数--27.4小于单层线性网络模型--31.9，有着更高的复杂度和更好的学习效果。\r\n\r\n```\r\n#绘图表示\r\nimport matplotlib.pyplot as plt\r\n\r\nplt.rcParams['font.sans-serif'] = ['SimHei']\r\nplt.rcParams['axes.unicode_minus'] = False\r\n\r\n# 设置图形大小\r\nplt.figure(figsize=(8, 4), dpi=80)\r\nplt.plot(range(len(test_y)), test_y, ls='-.',lw=2,c='r',label='真实值')\r\nplt.plot(range(len(pred_y)), pred_y, ls='-',lw=2,c='b',label='预测值')\r\n\r\n# 绘制网格\r\nplt.grid(alpha=0.4, linestyle=':')\r\nplt.legend()\r\nplt.xlabel('number') #设置x轴的标签文本\r\nplt.ylabel('房价') #设置y轴的标签文本\r\n\r\n# 展示\r\nplt.show()\r\n```\r\n![](https://img-blog.csdnimg.cn/img_convert/f5690e30fe4028dfc85e7ebe77258395.png)\r\n\r\n回到分析深度神经网络学习的内容，这里我们输入一条样本，看看每一层神经网络的输出。\r\n```\r\nfrom numpy import exp\r\n\r\n\r\nx0=train_x[0]\r\nprint(\"1、输入第一条样本x0:\\n\", x0)\r\n # 权重参数可以控制数据的特征表达再输出到下一层\r\nw0= model.layers[0].get_weights()[0] \r\nprint(\"2、第一层网络的权重参数w0:\\n\", w0) \r\n\r\na0 = np.maximum(0,np.dot(w0.T, x0)) \r\n# a0可以视为第一层网络层交互出的新特征，但其特征含义是比较模糊的\r\nprint(\"3、经过第一层神经网络relu(w0*x0)后输出:\\n\",a0) \r\nw1=model.layers[1].get_weights()[0] \r\nprint(\"4、第二层网络的权重参数w1:\\n\", w1)  \r\n # 预测结果为w1与ao加权求和\r\na1 = np.dot(w1.T,a0)                                  \r\nprint(\"5、经过第二层神经网络w1*ao后输出预测值:%s,实际标签值为%s\"%(a1[0],train_y[0]))  \r\n```\r\n![](https://img-blog.csdnimg.cn/img_convert/baa35c910bba0ae431a044285d1c7488.png)\r\n从深度神经网络的示例可以看出，神经网络学习的内容一样是权重参数。由于非线性隐藏层的作用下，深度神经网络可以通过权重参数对数据非线性转换，交互出复杂的、高层次的特征，并利用这些特征输出决策，最终取得较好的学习效果。但是，正也因为隐藏层交互组合特征过程的复杂性，学习的权重参数在业务含义上如何决策，并不好直观解释。\r\n\r\n\r\n对于深度神经网络的解释，常常说深度学习模型是“黑盒”，学习内容很难表示成易于解释含义的形式。在此，一方面可以借助shap等解释性的工具加于说明。另一方面，还有像深度学习处理图像识别任务，就是个天然直观地展现深度学习的过程。如下展示输入车子通过层层提取的高层次、抽象的特征，图像识别的过程。\r\n![](https://img-blog.csdnimg.cn/img_convert/e43a8009b463a636bbece0996aa2827f.png)\r\n\r\n注：图像识别可视化工具来源于https://poloclub.github.io/cnn-explainer/\r\n\r\n\r\n\r\n![](https://img-blog.csdnimg.cn/img_convert/cb435d282f29b2ed1e994e756404e4ee.png)\r\n在神经网络学习提取层次化特征以识别图像的过程：\r\n- 第一层，像是各种边缘探测特征的集合，在这个阶段，激活值仍然是保留了几乎原始图像的所有信息。\r\n- 更高一层，激活值就变得进一步抽象，开始表示更高层次的内容，诸如“车轮”。有着更少的视觉表示（稀疏），也提取到了更关键特征的信息。\r\n\r\n这和人类学习（图像识别）的过程是类似的——从具体到抽象，简单概括出物体的本质特征。就像我们看到一辆很酷的小车，\r\n![](https://img-blog.csdnimg.cn/img_convert/98749e887e391b93942c0f7166ec3234.png)\r\n\r\n然后凭记忆将它画出来，很可能没法画出很多细节，只有抽象出来的关键特征表现，类似这样：\r\n![](https://img-blog.csdnimg.cn/img_convert/b268af3ed3ce129e60bd1a8714c65adf.png)\r\n\r\n我们的大脑学习输入的视觉图像的抽象特征，而不相关忽略的视觉细节，提高效率的同时，学习的内容也有很强的泛化性，我们只要识别一辆车的样子，就也会辨别出不同样式的车。这也是深度神经网络学习更高层次、抽象的特征的过程。\r\n\r\n---\r\n本文首发公众号”算法进阶“，阅读原文即访问[文章相关代码](https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Faialgorithm%2FBlog)","author":{"url":"https://github.com/aialgorithm","@type":"Person","name":"aialgorithm"},"datePublished":"2021-10-28T11:40:39.000Z","interactionStatistic":{"@type":"InteractionCounter","interactionType":"https://schema.org/CommentAction","userInteractionCount":0},"url":"https://github.com/27/Blog/issues/27"}