René's URL Explorer Experiment

{"@context":"https://schema.org","@type":"DiscussionForumPosting","headline":"Python数据分析指南(全)","articleBody":"## 前言\r\n数据分析是通过明确分析目的，梳理并确定分析逻辑，针对性的收集、整理数据，并采用统计、挖掘技术分析，提取有用信息和展示结论的过程，是数据科学领域的核心技能。\r\n\r\n![](https://upload-images.jianshu.io/upload_images/23428465-3233063a23e372e5.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n本文从数据分析常用逻辑框架及技术方法出发，结合python项目实战全面解读数据分析，可以系统掌握数据分析的框架套路，快速上手数据分析。\r\n\r\n## 一、 数据分析的逻辑（方法论）\r\n\r\n![](https://upload-images.jianshu.io/upload_images/23428465-8d06f6fe4123b3f9.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n### 1.1   PEST分析法\r\n\r\nPEST分析是指宏观环境的分析，宏观环境是指影响一切行业或企业的各种宏观力量。P是政治(Politics)，E是经济(Economy)，S是社会(Society)，T是技术(Technology)。通常是战略咨询顾问用来帮助企业检阅其外部宏观环境的一种方法，以吉利收购沃尔沃为例：\r\n\r\n![](https://upload-images.jianshu.io/upload_images/23428465-f6a5459659140a18.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n### 1.2  5W2H分析法\r\n\r\n 5W2H分析法又称七何分析法，包括：Why、What、Where、When、Who、How、How much 。主要用于用户行为分析、业务问题专题分析、营销活动等，是一个方便又实用的工具。\r\n\r\n![](https://upload-images.jianshu.io/upload_images/23428465-6bdc0b0162e1fdb0.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n### 1.3  逻辑树分析法\r\n![](https://upload-images.jianshu.io/upload_images/23428465-6e5a7d46029fb3f7.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n逻辑树是分析问题最常用的工具之一，它是将问题的所有子问题分层罗列，从最高层开始，并逐步向下扩展。使用逻辑树分析的主要优点是保证解决问题的过程的完整性，且方便将工作细分为便于操作的任务，确定各部分的优先顺序，明确地把责任落实到个人。\r\n\r\n![](https://upload-images.jianshu.io/upload_images/23428465-8da91e7c73248220.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n### 1.4  4P营销理论\r\n\r\n4P即产品（Product）、价格（Price）、渠道（Place）、促销（Promotion），在营销领域，这种以市场为导向的营销组合理论，被企业应用最普遍。通过将四者的结合、协调发展，从而提高企业的市场份额，达到最终获利的目的。\r\n\r\n4P营销理论适用于分析企业的经营状况，可视为企业内部环境，PEST分析的是企业在外部面对的环境。\r\n\r\n![](https://upload-images.jianshu.io/upload_images/23428465-b0e22bf3e52f035b.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n### 1.5  SCQA分析法\r\n\r\nSCQA分析是一个“结构化表达”工具，即S（Situation）情景、C（Complication）冲突、Q（Question）疑问、A（Answer）回答。\r\n\r\n![](https://upload-images.jianshu.io/upload_images/23428465-4426470e18f1bec0.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n整个结构是通过描述当事者的现实状态，然后带出冲突和核心问题，通过结构化分析以提供更为明智的解决方案。以校园招聘SCQA分析为例：\r\n\r\n![](https://upload-images.jianshu.io/upload_images/23428465-f8afd31367c24ea8.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n### 1.6  SMART分析法\r\n\r\nSMART法是一种目标管理方法，即对目标的S（Specific）明确性，M（Measurable）可衡量性，A（Attainable）可实现性，R（Relevant）相关性，T（Time-based）时限性。\r\n\r\n![](https://upload-images.jianshu.io/upload_images/23428465-1a50486b536ac8df.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n### 1.7  SWOT分析法\r\n\r\nSWOT分析法也叫态势分析法，S （Strengths）是优势、W （Weaknesses）是劣势，O （Opportunities）是机会、T （Threats）是威胁或风险。常用来确定企业自身的内部优势、劣势和外部的机会和威胁等，从而将公司的战略与公司内部与外部环境有机地结合起来。以HUAWEI 的SWOT分析为例：\r\n\r\n![](https://upload-images.jianshu.io/upload_images/23428465-3b0c1bf8c30dee99.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n## 二、  数据分析的技术方法  \r\n\r\n数据分析的技术方法是指提取出关键信息的具体方法，如对比分析、交叉分析、回归预测分析等方法。\r\n\r\n![](https://upload-images.jianshu.io/upload_images/23428465-e352135e7b3f79a5.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n### 2.1  对比分析法\r\n\r\n对比分析法是将两个或两个以上的数据进行比较，分析差异，揭示发展变化情和规律。\r\n\r\n*   静态比较：时间一致的前提下选取不同指标，如部门、城市、门店等，也叫横向比较。\r\n*   动态比较：指标一致的前提下，针对不同时期的数据比较，也叫纵向比较。\r\n\r\n举例：各车企销售表现\r\n\r\n![](https://upload-images.jianshu.io/upload_images/23428465-424792fd3d6c424f.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n### 2.2  分组分析法\r\n\r\n*   先经过数据加工，对数据进行数据分组，然后对分组的数据进行分析。\r\n*   分组的目的是为了便于对比，把总体中具有不同性质的对象区分开，把性质相同的对象合并在一起，保持各组内对象属性的一致性、组与组之间属性的差异性，以便进一步运用各种数据分析方法来解释内在的数量关系。\r\n\r\n举例： 新书在各销售渠道的销量\r\n\r\n![](https://upload-images.jianshu.io/upload_images/23428465-f5bd2a0432f513c3.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n### 2.3  结构分析法\r\n\r\n*   结构分析法又称比重分析法，是在分组分析法的基础上，计算总体内各组成部分占总体的比重，进而分析总体数据的内部特征。\r\n\r\n举例：市场占有率是典型的结构分析。\r\n\r\n![](https://upload-images.jianshu.io/upload_images/23428465-03192a1ef109cd67.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n\r\n### 2.4  平均分析法（标准参数分析法）\r\n\r\n*   运用计算平均数的方法来反映总体在一定的时间、地点条件下某一数量特征的一般水平。\r\n*   平均指标可用于同一现象在不同地区、不同部门或单位间的对比，还可用于同一现象在不同时间的对比。\r\n\r\n举例：季节性分析和价格分析时常会用到index指标\r\n\r\n![](https://upload-images.jianshu.io/upload_images/23428465-f807aff056de72f9.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n### 2.5  交叉分析法\r\n\r\n*   通常用于分析两个变量之间的关系，即同时将两个有一定联系的变量及其值交叉排列在一张表格内，使各变量值成为不同变量的交叉节点，形成交叉表。\r\n\r\n举例：常见的气泡图数据表格\r\n\r\n![](https://upload-images.jianshu.io/upload_images/23428465-05ea420033c35a27.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n### 2.6  漏斗图分析法\r\n\r\n*   漏斗图可以很好的反映网站各步奏转化率，利用对比法对同一环节优化前后的效果进行对比分析来反映某个步奏转化率的好坏。\r\n\r\n举例：商品流转率表现图\r\n\r\n![](https://upload-images.jianshu.io/upload_images/23428465-24667fba6692bab2.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n \r\n\r\n## 三、 数据分析的图表展示\r\n\r\n图表展示可以帮助我们更好、更直观地看懂数据信息。\r\n\r\n图表的选择，不只是关注图表的样式，而关键在于关注数据情况及图表展示的功能。可以通过数据展示的功能（构成、比较、趋势、分布及联系）进行图表选择，如下所示：\r\n\r\n![](https://upload-images.jianshu.io/upload_images/23428465-21164c991294e4de.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n\r\n## 四、  项目实战 （python）\r\n\r\n### 4.1  数据内容\r\n数据来源于[天猫真实成交订单](https://www.kesci.com/mw/dataset/5eb60cab366f4d002d779163)，主要是行为类数据。\r\n\r\na. 订单编号：订单编号\r\n\r\nb. 总金额：订单总金额\r\n\r\nc. 买家实际支付金额：总金额 - 退款金额（在已付款的情况下）；未付款的支付金额为0\r\n\r\nd. 收货地址：全国各个省份\r\n\r\ne. 订单创建时间：下单时间\r\n\r\nf. 订单付款时间：付款时间（如果未付款，显示NaN）\r\n\r\ng. 退款金额：付款后申请退款的金额。未付款的退款金额为0\r\n\r\n### 4.2  天猫订单分析过程\r\n\r\n#### 4.2.1  背景及分析目的\r\n\r\n以天猫一个月内的订单数据，观察这个月的订单量以及销售额, 分析下单日期、收货地址等因素对订单量的影响以及订单转换情况，旨在提升用户下单量和订单转换率，进而提高用户实际支付额。\r\n\r\n#### 4.2.2  分析逻辑\r\n本文结合订单流程以逻辑树方法分析订单数目的影响因素，从以下几个维度展开：\r\n\r\n![](https://upload-images.jianshu.io/upload_images/23428465-c8f020b9b94caed9.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n\r\n#### 4.2.3  数据读取及处理\r\n\r\n```\r\nimport pandas as pd\r\nimport numpy as np\r\nimport matplotlib.pyplot as plt\r\nimport os\r\nimport warnings\r\nwarnings.filterwarnings('ignore')\r\n\r\n\r\n# 读取数据\r\ndf = pd.read_csv('tmall_order_report.csv')\r\ndf.head()\r\n```\r\n![](https://upload-images.jianshu.io/upload_images/23428465-137ab5000a9c6c8c.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n```\r\n# 利用pandas_profiling一健生成数据情况（EDA）报告:数据描述、缺失、相关性等情况\r\nimport pandas_profiling as pp\r\nreport = pp.ProfileReport(df)\r\nreport\r\n```\r\n![](https://upload-images.jianshu.io/upload_images/23428465-32f12354ea144896.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n```\r\n#规范字段名称\r\ndf.columns\r\n```\r\n![](https://upload-images.jianshu.io/upload_images/23428465-6a0cd01c55f29ab8.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n```\r\ndf=df.rename(columns={'收货地址 ':'收货地址','订单付款时间 ':'订单付款时间'})\r\ndf.columns\r\n```\r\n![](https://upload-images.jianshu.io/upload_images/23428465-c8b93e0fe382dfa1.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n```\r\n#查看数据基本信息\r\ndf.info()\r\n```\r\n![](https://upload-images.jianshu.io/upload_images/23428465-c2c2c23403a50718.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n```\r\n# 数据类型转换\r\ndf['订单创建时间']=pd.to_datetime(df.订单创建时间)\r\ndf['订单付款时间']=pd.to_datetime(df.订单付款时间)\r\ndf.info()\r\n```\r\n![](https://upload-images.jianshu.io/upload_images/23428465-43840d7a211d166a.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n```\r\n# 数据重复值\r\ndf.duplicated().sum()\r\n```\r\n无\r\n```\r\n#数据缺失值\r\ndf.isnull().sum()\r\n```\r\n![](https://upload-images.jianshu.io/upload_images/23428465-fd82f86ca6fd6ef3.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n```\r\n#数据集描述性信息\r\ndf.describe()\r\n```\r\n![](https://upload-images.jianshu.io/upload_images/23428465-b72d0b7021d940c8.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n```\r\n#筛选数据集\r\ndf_payed=df[df['订单付款时间'].notnull()]#支付订单数据集\r\ndf_trans=df_payed[df_payed['买家实际支付金额']!=0]#到款订单数据集\r\ndf_trans_full=df_payed[df_payed['退款金额']==0]#全额到款订单数据集\r\n```\r\n#### 4.2.4  总体运营指标分析\r\n\r\n分析2月份成交订单数的变化趋势\r\n```\r\nimport pyecharts.options as opts\r\n#将订单创建时间设为index\r\ndf_trans=df_trans.set_index('订单创建时间')\r\n#按天重新采样\r\nse_trans_month = df_trans.resample('D')['订单编号'].count()\r\nfrom pyecharts.charts import Line\r\n#做出标有具体数值的变化图\r\nname = '成交订单数'\r\n\r\n(\r\n    Line()\r\n    .add_xaxis(xaxis_data = list(se_trans_month.index.day.map(str)))\r\n    .add_yaxis(\r\n        series_name= name,\r\n        y_axis= se_trans_month,\r\n\r\n    )\r\n    .set_global_opts(\r\n        yaxis_opts = opts.AxisOpts(\r\n            splitline_opts = opts.SplitLineOpts(is_show = True)\r\n        )\r\n    )\r\n    .render_notebook()\r\n)\r\n```\r\n![](https://upload-images.jianshu.io/upload_images/23428465-fb97ec3a6c58687f.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n##### 小结 1 ：2月上半月，多数企业未复工，快递也停运，暂时无法发货，订单数很少；2月下半月，随着企业复工逐渐增多，订单数开始上涨。\r\n```\r\nse_trans_map=df_trans.groupby('收货地址')['收货地址'].count().sort_values(ascending=False)\r\n# 为了保持收货地址和下面的地理分布图使用的省份名称一致，定义一个处理自治区的函数\r\ndef strip_region(iterable):\r\n    result = []\r\n    for i in iterable:\r\n        if i.endswith('自治区'):\r\n            if i == '内蒙古自治区':\r\n                i = i[:3]\r\n                result.append(i)\r\n            else:\r\n                result.append(i[:2])\r\n        else:\r\n            result.append(i)\r\n    return result\r\n# 处理自治区\r\nse_trans_map.index = strip_region(se_trans_map.index)\r\n# 去掉末位‘省’字\r\nse_trans_map.index = se_trans_map.index.str.strip('省')\r\n```\r\n```\r\nimport pyecharts.options as opts\r\nfrom pyecharts.charts import Map\r\n# 展示地理分布图\r\nname = '订单数'\r\n\r\n(\r\n    Map()\r\n    .add(\r\n        series_name = name,\r\n        data_pair= [list(i) for i in se_trans_map.items()])\r\n    .set_global_opts(visualmap_opts=opts.VisualMapOpts(\r\n        max_=max(se_trans_map)*0.6\r\n    )\r\n                    )\r\n    .render_notebook()\r\n)\r\n```\r\n用直观的地图来观察成交订单数的分布情况\r\n\r\n![](https://upload-images.jianshu.io/upload_images/23428465-f62760f7679bd99d.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n##### 小结 2 ：地区对订单数量影响较大，一般较发达地区订单数较大，边远地区较小。这里可能需要具体分析每个地区的商品种类、消费群体以及优惠政策，快递等原因。可以根据原因进一步提高其他地区的订单数量和销售金额。\r\n\r\n#### 4.2.5  销售转化指标\r\n\r\n订单数以及订单转化率的呈现\r\n```\r\ndict_convs=dict() #字典\r\ndict_convs['总订单数']=len(df)\r\ndf_payed\r\ndict_convs['订单付款数']=len(df_payed.notnull())\r\ndf_trans=df[df['买家实际支付金额']!=0]\r\ndict_convs['到款订单数']=len(df_trans)\r\ndict_convs['全额到款订单数']=len(df_trans_full)\r\n```\r\n```\r\n#字典转为dataframe\r\ndf_convs = pd.Series(dict_convs,name = '订单数').to_frame()\r\ndf_convs\r\n```\r\n```\r\n#求总体转换率，依次比上总订单数\r\ntotal_convs=df_convs['订单数']/df_convs.loc['总订单数','订单数']*100\r\ndf_convs['总体转化率']=total_convs.apply(lambda x:round(x,0))\r\ndf_convs\r\n```\r\n```\r\n#求单一转换率\r\nsingle_convs=df_convs.订单数/(df_convs.订单数.shift())*100\r\nsingle_convs=single_convs.fillna(100)\r\ndf_convs['单一转化率']=single_convs.apply(lambda x:round(x,0))\r\ndf_convs\r\n```\r\n![](https://upload-images.jianshu.io/upload_images/23428465-0e6d5fd0e2873a72.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n画转换率漏斗图，直观呈现订单转化情况\r\n```\r\nfrom pyecharts.charts import Funnel\r\nfrom pyecharts import options as opts\r\nname = '总体转化率'\r\nfunnel = Funnel().add(\r\n                    series_name = name,\r\n                    data_pair = [ list(z) for z in zip(df_convs.index,df_convs[name]) ],\r\n                    is_selected = True,\r\n                    label_opts = opts.LabelOpts(position = 'inside')\r\n                    )\r\nfunnel.set_series_opts(tooltip_opts = opts.TooltipOpts(formatter = '{a}\u003cbr/\u003e{b}:{c}%'))\r\n\r\nfunnel.set_global_opts( title_opts = opts.TitleOpts(title = name),\r\n#                         tooltip_opts = opts.TooltipOpts(formatter = '{a}\u003cbr\\\u003e{b}:{c}%'),\r\n                      )\r\n                        \r\nfunnel.render_notebook()\r\n```\r\n![](https://upload-images.jianshu.io/upload_images/23428465-774dbe36ce870575.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n```\r\nname = '单一转化率'\r\nfunnel = Funnel().add(\r\n                    series_name = name,\r\n                    data_pair = [ list(z) for z in zip(df_convs.index,df_convs[name]) ],\r\n                    is_selected = True,\r\n                    label_opts = opts.LabelOpts(position = 'inside')\r\n                    )\r\nfunnel.set_series_opts(tooltip_opts = opts.TooltipOpts(formatter = '{a}\u003cbr/\u003e{b}:{c}%'))\r\n\r\nfunnel.set_global_opts( title_opts = opts.TitleOpts(title = name),\r\n#                         tooltip_opts = opts.TooltipOpts(formatter = '{a}\u003cbr\\\u003e{b}:{c}%'),\r\n                      )\r\n                        \r\nfunnel.render_notebook()\r\n```\r\n![](https://upload-images.jianshu.io/upload_images/23428465-2fff97524a3ed6cf.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n\r\n##### 小结 3：从单一转化率来看，支付订单数-到款订单数转换率为79%，后续可以从退款率着手分析退款原因，提高转换率。\r\n\r\n---\r\n文章首发于算法进阶，公众号**阅读原文**可访问[GitHub源码](https://github.com/aialgorithm/Blog/)\r\n![](https://upload-images.jianshu.io/upload_images/11682271-a5997b210c8821c7.gif?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)\r\n","author":{"url":"https://github.com/aialgorithm","@type":"Person","name":"aialgorithm"},"datePublished":"2021-03-26T06:53:15.000Z","interactionStatistic":{"@type":"InteractionCounter","interactionType":"https://schema.org/CommentAction","userInteractionCount":0},"url":"https://github.com/14/Blog/issues/14"}