René's URL Explorer Experiment

{"@context":"https://schema.org","@type":"DiscussionForumPosting","headline":"机器学习入门指南（全）","articleBody":"\r\n## 前言\r\n**机器学习** 作为人工智能领域的核心组成，是计算机程序学习数据经验以优化自身算法，并产生相应的“智能化的”建议与决策的过程。\r\n\r\n一个经典的机器学习的定义是：\r\n\r\n\u003e A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.\r\n\r\n## 1 机器学习概论\r\n机器学习是关于计算机基于数据分布，学习构建出概率统计模型，并运用模型对数据进行分析与预测的方法。按照学习数据分布的方式的不同，主要可以分为**监督学习和非监督学习**：\r\n\r\n\r\n![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/b06577eb3b504e18940fc45134e9e070~tplv-k3u1fbpfcp-zoom-1.image)\r\n\r\n### 1.1 监督学习\r\n从有标注的数据(x为变量特征空间, y为标签)中，通过选择的模型及确定的学习策略，再用合适算法计算后学习到最优模型，并用模型预测的过程。\r\n\r\n按照模型预测结果Y的取值有限或者无限的，可再进一步分为**分类模型或者回归模型**；\r\n\r\n![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/10fe1fd2d514486e9286fc261d08d94e~tplv-k3u1fbpfcp-zoom-1.image)\r\n\r\n### 1.2 非监督学习：\r\n从无标注的数据(x为变量特征空间），通过选择的模型及确定的学习策略，再用合适算法计算后学习到最优模型，并用模型发现数据的统计规律或者内在结构。\r\n\r\n按照应用场景，可以分为聚类，降维和关联分析等模型。\r\n\r\n![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/6d9324ed269e4ceea9c37ddd02255faf~tplv-k3u1fbpfcp-zoom-1.image)\r\n\r\n\r\n## 2 机器学习建模流程\r\n\r\n\r\n![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c943dd929d404e3a8f6a724cda2f384c~tplv-k3u1fbpfcp-zoom-1.image)\r\n### 2.1 明确业务问题\r\n\r\n明确业务问题是机器学习的先决条件，这里需要抽象出现实业务问题的解决方案：需要学习什么样的数据作为输入，目标是得到什么样的模型做决策作为输出。\r\n\r\n（如：一个简单的新闻分类问题的场景，就是学习已有的新闻及其类别标签数据，得到一个文本分类模型，通过模型对每天新的新闻做类别预测，以归类到每个新闻频道。）\r\n\r\n![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/d5518cd056aa4eee80add437be6d899d~tplv-k3u1fbpfcp-zoom-1.image)\r\n\r\n### 2.2 数据选择：收集及输入数据 \r\n数据决定了机器学习结果的上限，而算法只是尽可能逼近这个上限。\r\n意味着数据的质量决定了模型的最终效果，在实际的工业应用中，算法通常占了很小的一部分，大部分工程师的工作都是在找数据、提炼数据、分析数据。数据选择需要关注的是：\r\n\r\n① 数据的代表性：代表性差的数据，会导致模型拟合效果差；\r\n\r\n② 数据时间范围：监督学习的特征变量X及标签Y如与时间先后有关，则需要明确数据时间窗口，否则可能会导致**数据泄漏**，即存在和利用因果颠倒的特征变量的现象。（如预测明天会不会下雨，但是训练数据引入明天温湿度情况）； \r\n\r\n③ 数据业务范围：明确与任务相关的数据表范围，避免缺失代表性数据或引入大量无关数据作为噪音；\r\n\r\n\r\n### 2.3 特征工程：数据预处理及特征提取\r\n特征工程就是将原始数据加工转化为模型可用的特征，按技术手段一般可分为：\r\n\r\n① **数据预处理**：缺失值/异常值处理，数据离散化，数据标准化等；\r\n\r\n② **特征提取**：特征表示，特征衍生，特征选择，特征降维等；\r\n\r\n\r\n### 2.3.1 数据预处理\r\n\r\n\r\n+ **异常值处理**\r\n    \r\n    收集的数据由于人为或者自然因素可能引入了异常值（噪音），这会对模型学习进行干扰。\r\n    ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/98adb3d739e84aad85c67b3c72768f0c~tplv-k3u1fbpfcp-watermark.image)\r\n    \r\n    通常需要处理人为引起的异常值，通过业务/技术手段(如3σ准则)判定异常值，再由（python、正则式匹配）等方式筛选异常的信息，并结合业务情况删除或者替换数值。\r\n\r\n+ **缺失值处理** \r\n\r\n    数据缺失的部分，通过结合业务进行填充数值、不做处理或者删除。\r\n    根据缺失率情况及处理方式分为以下情况：\r\n    \r\n    ① 缺失率较高，并结合业务可以直接删除该特征变量。经验上可以新增一个bool类型的变量特征记录该字段的缺失情况，缺失记为1，非缺失记为0；\r\n    \r\n    ② 缺失率较低，结合业务可使用一些缺失值填充手段，如pandas的fillna方法、训练随机森林模型预测缺失值填充；\r\n    \r\n    ③ 不做处理：部分模型如随机森林、xgboost、lightgbm能够处理数据缺失的情况，不需要对缺失数据做任何的处理。\r\n\r\n\r\n+ **数据离散化**\r\n\r\n    数据离散化能减小算法的时间和空间开销（不同算法情况不一），并可以使特征更有业务解释性。\r\n    \r\n    离散化是将连续的数据进行分段，使其变为一段段离散化的区间，分段的原则有等距离、等频率等方法。\r\n\r\n+ **数据标准化**\r\n\r\n    数据各个特征变量的量纲差异很大，可以使用数据标准化消除不同分量量纲差异的影响，加速模型收敛的效率。常用的方法有：\r\n    \r\n    ① min-max 标准化：\r\n    \r\n    将数值范围缩放到（0,1）,但没有改变数据分布。max为样本最大值，min为样本最小值。\r\n    \r\n    ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/b26766f1f0e44295a17da685ae499d1b~tplv-k3u1fbpfcp-zoom-1.image)\r\n    \r\n    ② z-score 标准化：\r\n    \r\n    将数值范围缩放到0附近, 经过处理的数据符合标准正态分布。u是平均值，σ是标准差。\r\n    \r\n    ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/8f072d800d7748e2be400ac5482f803e~tplv-k3u1fbpfcp-zoom-1.image)\r\n### 2.3.2 特征提取\r\n+ **特征表示**\r\n\r\n    数据需要转换为计算机能够处理的数值形式。如果数据是图片数据需要转换为RGB三维矩阵的表示。\r\n\r\n![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/21dd1e3189f446a49c729b15d43ccfcd~tplv-k3u1fbpfcp-zoom-1.image)\r\n\r\n字符类的数据可以用多维数组表示，有Onehot独热编码表示、word2vetor分布式表示及bert动态编码等；\r\n![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/34a0cfa2762447bf9253874ae0ff2f93~tplv-k3u1fbpfcp-zoom-1.image)\r\n\r\n+ **特征衍生**\r\n\r\n基础特征对样本信息的表述有限，可通过特征衍生出新含义的特征进行补充。特征衍生是对现有基础特征的含义进行某种处理（聚合/转换之类），常用方法如：\r\n\r\n① 结合业务的理解做衍生：\r\n聚合的方式是指对字段聚合后求平均值、计数、最大值等。比如通过12个月工资可以加工出：平均月工资，薪资最大值 等等；\r\n\r\n转换的方式是指对字段间做加减乘除之类。比如通过12个月工资可以加工出：当月工资收入与支出的比值、差值等等；\r\n\r\n② 使用特征衍生工具：如Featuretools等；\r\n    \r\n    \r\n+ **特征选择**\r\n\r\n特征选择筛选出显著特征、摒弃非显著特征。特征选择方法一般分为三类：\r\n    \r\n![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/63da6d2d6b9c49d79d5504a26b95393f~tplv-k3u1fbpfcp-zoom-1.image)\r\n① 过滤法：按照特征的发散性或者相关性指标对各个特征进行评分后选择，如方差验证、相关系数、IV值、卡方检验及信息增益等方法。\r\n    \r\n② 包装法：每次选择部分特征迭代训练模型，根据模型预测效果评分选择特征的去留。\r\n    \r\n③ 嵌入法：使用某些模型进行训练，得到各个特征的权值系数，根据权值系数从大到小来选择特征，如XGBOOST特征重要性选择特征。\r\n\r\n![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/b4cc4f089ff247ceab2786a5a724aa2c~tplv-k3u1fbpfcp-zoom-1.image)\r\n    \r\n+ **特征降维**\r\n\r\n如果特征选择后的特征数目仍太多，这种情形下经常会有数据样本稀疏、距离计算困难的问题（称为 “维数灾难”），可以通过特征降维解决。\r\n    常用的降维方法有：主成分分析法（PCA），\r\n    线性判别分析法（LDA）等。\r\n![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/c55b13c326d748f8bec092686eca5dc2~tplv-k3u1fbpfcp-zoom-1.image)\r\n\r\n### 2.4 模型训练\r\n模型训练是选择模型学习数据分布的过程。这过程还需要依据训练结果调整算法的（超）参数，使得结果变得更加优良。\r\n\r\n+ 2.4.1 **数据集划分**\r\n    \r\n    训练模型前，一般会把数据集分为训练集和测试集，并可再对训练集再细分为训练集和验证集，从而对模型的泛化能力进行评估。\r\n\r\n    ① 训练集（training set）：用于运行学习算法。\r\n    \r\n    ② 开发验证集（development set）用于调整参数，选择特征以及对算法其它优化。常用的验证方式有交叉验证Cross-validation，留一法等；\r\n    \r\n    ③ 测试集（test set）用于评估算法的性能，但不会据此改变学习算法或参数。\r\n    \r\n    \r\n    ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/99a2f941599d4c56a63a0277a2c4a39d~tplv-k3u1fbpfcp-zoom-1.image)\r\n\r\n+ 2.4.2 **模型选择**\r\n    \r\n    常见的机器学习算法如下：\r\n\r\n    ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0b5f7c31f8cd4a008f77ce4e9181ab29~tplv-k3u1fbpfcp-zoom-1.image)    \r\n\r\n\r\n    模型选择取决于数据情况和预测目标。可以训练多个模型，根据实际的效果选择表现较好的模型或者模型融合。\r\n\r\n![模型选择](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/fc1143a04eff461e9975bd0b499442d0~tplv-k3u1fbpfcp-zoom-1.image)\r\n\r\n+ 2.4.3 **模型训练**\r\n    \r\n    训练过程可以通过调参进行优化，调参的过程是一种基于数据集、模型和训练过程细节的实证过程。\r\n    超参数优化需要基于对算法的原理的理解和经验，此外还有自动调参技术：网格搜索、随机搜索及贝叶斯优化等。\r\n\r\n\r\n\r\n\r\n### 2.5 模型评估\r\n\r\n**模型评估的标准**：模型学习的目的使学到的模型对新数据能有很好的预测能力（泛化能力）。现实中通常由训练误差及测试误差评估模型的训练数据学习程度及泛化能力。\r\n\r\n- 2.5.1 **评估指标**\r\n    \r\n    ① 评估分类模型：\r\n    常用的评估标准有查准率P、查全率R、两者调和平均F1-score 等，并由混淆矩阵的统计相应的个数计算出数值：\r\n    \r\n    \r\n    ![混淆矩阵](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/1b37c12ad80a49769dceb7cd624bfe81~tplv-k3u1fbpfcp-zoom-1.image)\r\n\r\n    \r\n    查准率是指分类器分类正确的正样本（TP）的个数占该分类器所有预测为正样本个数（TP+FP）的比例；\r\n    \r\n    查全率是指分类器分类正确的正样本个数（TP）占所有的正样本个数（TP+FN）的比例。\r\n    \r\n    F1-score是查准率P、查全率R的调和平均：\r\n    ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/0925528b1e7543b6a457f77fd68b9807~tplv-k3u1fbpfcp-zoom-1.image)\r\n    \r\n    ② 评估回归模型：\r\n    常用的评估指标有RMSE均方根误差 等。反馈的是预测数值与实际值的拟合情况。\r\n    \r\n    ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/f4d5eae4e12f4123b10da55c958b51ee~tplv-k3u1fbpfcp-zoom-1.image)\r\n    \r\n    ③ 评估聚类模型：可分为两类方式，一类将聚类结果与某个“参考模型”的结果进行比较，称为“外部指标”（external index）：如兰德指数，FM指数 等；\r\n    另一类是直接考察聚类结果而不利用任何参考模型，称为“内部指标”（internal index）：如紧凑度、分离度 等。\r\n\r\n- 2.5.2 **模型评估及优化**\r\n\r\n    \r\n    ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/3b8b33270a0d40adb94df8245800ba0f~tplv-k3u1fbpfcp-zoom-1.image)\r\n   \r\n    \r\n    根据训练集及测试集的指标表现，分析原因并对模型进行优化，常用的方法有：\r\n    \r\n    ![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/cd4311019bad4366b18605abda82de7a~tplv-k3u1fbpfcp-zoom-1.image)\r\n\r\n### 2.6 模型决策\r\n\r\n决策是机器学习最终目的，对模型预测信息加以分析解释，并应用于实际的工作领域。\r\n\r\n需要注意的是工程上是结果导向，模型在线上运行的效果直接决定模型的成败，不仅仅包括其准确程度、误差等情况，还包括其运行的速度(时间复杂度)、资源消耗程度（空间复杂度）、稳定性的综合考虑。\r\n\r\n\r\n\r\n##  3  Python实战\r\n```\r\n# 这是一个简单的demo。使用iris植物的数据，训练iris分类模型，通过模型预测识别品种。\r\nimport pandas as pd\r\n\r\n# 加载数据集 \r\ndata = load_iris()\r\ndf = pd.DataFrame(data.data, columns=data.feature_names)\r\ndf.head()\r\n\r\n\r\n# 使用pandas_profiling库分析数据情况\r\nimport pandas_profiling\r\n\r\ndf.profile_report(title='iris')\r\n\r\n\r\n# 划分标签y，特征x\r\ny = df['class']\r\nx = df.drop('class', axis=1)\r\n\r\n\r\n#划分训练集，测试集\r\nfrom sklearn.model_selection import train_test_split\r\ntrain_x, test_x, train_y, test_y = train_test_split(x, y)\r\n\r\n# 模型训练\r\nfrom xgboost import XGBClassifier\r\n\r\n# 选择模型\r\nxgb = XGBClassifier(max_depth=1, n_estimators=1)\r\n\r\nxgb.fit(train_x, train_y)\r\n\r\nfrom sklearn.metrics import precision_score, recall_score, f1_score, accuracy_score, roc_curve, auc\r\n\r\ndef model_metrics(model, x, y, pos_label=2):\r\n    \"\"\"\r\n    评估函数\r\n    \"\"\"\r\n    yhat = model.predict(x)\r\n    result = {'accuracy_score':accuracy_score(y, yhat),\r\n              'f1_score_macro': f1_score(y, yhat, average = \"macro\"),\r\n              'precision':precision_score(y, yhat,average=\"macro\"),\r\n              'recall':recall_score(y, yhat,average=\"macro\")\r\n             }\r\n    return result\r\n\r\n\r\n# 模型评估结果\r\nprint(\"TRAIN\")\r\nprint(model_metrics(xgb, train_x, train_y))\r\n\r\nprint(\"TEST\")\r\nprint(model_metrics(xgb, test_x, test_y))\r\n\r\n\r\n# 模型预测\r\nxgb.predict(test_x)\r\n\r\n\r\n```\r\n\r\n\r\n---\r\n![](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/28400ff8d5d842b98e28b6e39fc98c33~tplv-k3u1fbpfcp-zoom-1.image)\r\n","author":{"url":"https://github.com/aialgorithm","@type":"Person","name":"aialgorithm"},"datePublished":"2021-01-18T03:14:32.000Z","interactionStatistic":{"@type":"InteractionCounter","interactionType":"https://schema.org/CommentAction","userInteractionCount":0},"url":"https://github.com/2/Blog/issues/2"}