知乎_文兄：https://zhuanlan.zhihu.com/p/24988645

一、为什么要做一份数据报告

你是一个在校学生，上着自己喜欢或不喜欢的课，闲来无事，你打开知乎，看到了数据分析话题，你下定决心要成为一个数据分析师，你搞来一堆学习资料和在线课程，看完之后自信满满，准备去投简历，然后发现不清楚各种工具和模型的适用范围，也不知道数据报告需要包括哪些内容，面试的感觉就是一问三不知……
你是一个工作了一段时间的白领，你觉得现在这份工作不适合你，你下班以后去逛知乎，在上面看到很多人在说大数据代表未来，数据分析师是21世纪最性感的十大职业之一……你激动了，你也要成为数据分析师，你利用空余时间补上了统计知识，学了分析工具，然后发现自己目前的工作跟数据分析没啥关系，觉得没有相关经验没公司要你……
这些问题的根源是什么？一句话可以概括：你没有办法在最短的时间内向招聘者展示，你能够胜任数据分析这项工作。
我在之前的回答如何快速成为数据分析师？ - 陈丹奕的回答中，提出过一个“100小时学习计划”，在开始投简历前的最后一步，我建议用25个小时——占整个计划的四分之一，来做一份数据报告，这个步骤至少能为你带来三个好处：
检验你的学习成果——数据分析是一门实用学科，能灵活运用学到的知识做出成果，比通过任何考试都重要；
测试你是否真的想做/适合做数据分析工作——比起你转行后用半年或是一年时间来发现自己的真实想法，不如在此之前就看看你能否做好这份工作，或是从其中得到乐趣；
展示你具有的能力——程序员的世界里讲究“No more talk，Show me the code”，数据分析师同样可以“Show me the report”，一份内容完整的数据报告，能帮你的面试官省下很多判断/评估/纠结的时间，给你更多的机会。
写了一大堆做数据报告的好处，那么以一个初学者的水平，如何去做一份数据报告呢？下文细说。

二、制作数据报告的流程

先放一张图

可以很清楚的看到，一个数据报告（副本）依据需求不同，有普通难度（蓝->橙->绿->红），也有英雄难度（蓝->橙->绿+黄->红），这次我们先讲普通难度的攻略，英雄难度放到下次讲。
普通难度的数据报告要经历7个步骤：

Step 1：目标确定

这一步在工作中通常是由你的客户/上级/其他部门同事/合作方提出来的，但第一次的数据报告中，需要你自己来提出并确定目标。
选择目标时，请注意以下几点：
选择一个你比较熟悉，或者比较感兴趣的领域/行业；
选择一个范围比较小的细分领域/细分行业作为切入点；
确定这个领域/行业有公开发表的数据/可以获取的UGC内容（论坛帖子，用户点评等）。
逐一分析上面三个注意点：
选择熟悉/感兴趣的领域/行业，是为了保证你在后续的分析过程中能够真正触及事情的本质——这一过程通常称为洞察——而不是就数字论数字；
选择细分领域/行业作为切入点，是为了保证你的报告能够有一条清晰的主线，而非单纯堆砌数据；
确定公开数据/UGC内容，是为了保证你有数据可以分析，可以做成报告，你说你是个军迷，要分析一下美国在伊拉克的军事行动与基地组织恐怖活动之间的关系……找到了数据麻烦告诉我一声，我叫你一声大神……
不管用什么方法，你现在有了一个目标，那么就向下个阶段迈进吧。

Step 2：数据获取

目标定下来了，接下来要去找相应的数据。如果你制定目标时完全遵循了第一步的三个注意点，那么你现在会很明确要找哪些数据。如果现在你还不确定自己需要哪些数据，那么……回到第一步重来吧。
下面我总结一下，在不依赖公司资源，不花钱买数据的情况下，获取目标数据的三类方法：
一是从一些有公开数据的网站上复制/下载，比如统计局网站，各类行业网站等，通过搜索引擎可以很容易找到这些网站。举例：要找汽车销量数据，在百度输入“汽车销量数据查询”关键字，结果如下：

我打码的那个链接，也就是第三个链接（第一个非推广链接）就是要找的结果，点进去可以看到各月的汽车销量，但只是全国数据，没有分省统计数据。
当然不会每次找数据都这么顺利，这里只是告诉你：要善用搜索引擎。
二是通过一些专门做数据整理打包的网站/api来下载，如果你要找金融类的数据，这种方法比较实用。其他类型的数据也有人做，但通常要收费。另外，淘宝上有很多帮人抓数据的店……
三是自行收集所需数据，比如用爬虫工具爬取点评网站的商家评分、评价内容等，或是直接自己人肉收集（手工复制下来），亦或是找一个免费问卷网站做一份问卷然后散发给你身边的人，都是可以的。这种方式受限制较少，但工作量/实现难度相对较大。
如果你是在职人员或是实习生，我建议你不要用任何现在公司的数据。保证数据的安全性，不对外泄露公司的任何非公开数据，是数据分析师的基本职业道德。实在非要用（例如你要在面试中展示你在以前公司做过的数据报告），请将一切有意义的内容，包括但不限于各种数字、竞品及本品名称、时间、用户属性全部打码并转成pdf格式，只留图形和叙事逻辑描述内容。

Step 3：数据清洗

在工作中，90%以上的情况，你拿到的数据都需要先做清洗工作，排除异常值、空白值、无效值、重复值等等。这项工作经常会占到整个数据分析过程将近一半的时间。
如果在上一步中，你的数据是通过手工复制/下载获取的，那么通常会比较干净，不需要做太多清洗工作。但如果数据是通过爬虫等方式得来，那么你需要进行清洗，提取核心内容，去掉网页代码、标点符号等无用内容。
无论你采用哪一种方式获取数据，请记住，数据清洗永远是你必须要做的一项工作。

Step 4：数据整理

清洗过后，需要进行数据整理，即将数据整理为能够进行下一步分析的格式，对于初学者，用Excel来完成这一工作就OK。
如果你的数据已经是表格形式，那么计算一些二级指标就好，比如用今年销量和去年销量算出同比增长率。鉴于你是第一次做数据报告，建议你不要计算太多复杂的二级指标，基本的同比、环比、占比分布这些就OK。
如果你收集的是一些非数字的数据，比如对商家的点评，那么你进行下一步统计之前，需要通过“关键词-标签”方式，将句子转化为标签，再对标签进行统计。

Step 5：描述分析

描述分析是最基本的分析统计方法，在实际工作中也是应用最广的分析方法。描述统计分为两大部分：数据描述和指标统计。
数据描述：用来对数据进行基本情况的刻画，包括：数据总数、时间跨度、时间粒度、空间范围、空间粒度、数据来源等。如果是建模，那么还要看数据的极值、分布、离散度等内容。这次我们是零基础做数据报告，那么就不用考虑后一类数据了。
指标统计：用来作报告，分析实际情况的数据指标，可粗略分为四大类：变化、分布、对比、预测；
变化：指标随时间的变动，表现为增幅（同比、环比等）；
分布：指标在不同层次上的表现，包括地域分布（省、市、区县、店/网点）、用户群分布（年龄、性别、职业等）、产品分布（如动感地带和全球通）等；
对比：包括内部对比和外部对比，内部对比包括团队对比（团队A与B的单产对比、销量对比等）、产品线对比（动感地带和全球通的ARPU、用户数、收入对比）；外部对比主要是与市场环境和竞争者对比；这一部分和分布有重叠的地方，但分布更多用于找出好或坏的地方，而对比更偏重于找到好或坏的原因；
预测：根据现有情况，估计下个分析时段的指标值。
以上部分引用自我的一个回答面试中针对一个企业的数据分析场景应该怎么去分析？应届生还不懂怎么结合企业业务做系统的分析，求指点 - 陈丹奕的回答，希望进一步了解的话，可以进这个答案。
描述分析的产出是图表，下一个步骤的内容将基于这些图表产出。

Step 6：洞察结论

这一步是数据报告的核心，也是最能看出数据分析师水平的部分。一个年轻的分析师和一个年迈的分析师拿到同样的图表，完全有可能解读出不同的内容。
举个例子：

年轻的分析师：2013年1月销售额同比上升60%，迎来开门红。2月销售额有所下降，3月大幅回升，4月持续增长。
年迈的分析师：2013年1月、2月销售额去除春节因素后，1月实际同比上升20%，2月实际同比上升14%，3月、4月销售额持续增长。
看到两者的区别了吗？2013年春节在2月，2012年则在1月，因此需要各去除一周的销售额，再进行比较。如果不考虑这一因素，那么后续得出的所有结论都是错的。挖掘数字变化背后的真正影响因素，才是洞察的目标。
再举个例子：

这张图是一个用户行为聚类的结果，人群被聚成四类。前三类人群可以很清楚的得出结论：他们是某一种游戏主机的用户。那么第四类人群，是什么人群呢？
年轻的分析师：第四类人群是游戏主机的狂热爱好者，他们交易频率远高于一般用户。
年迈的分析师：第四类人群是二手贩子，否则谁没事一年内会搞将近7台索尼主机放家里。
很明显，年迈的分析师由于具备丰富的行业经验，能迅速看穿数据背后的真实情况，得出正确的洞察结论，这也是为什么我在step 1里一再强调要找你熟悉或感兴趣的领域/行业，缺乏业务经验，很可能你的洞察结果是完全错误的。
以上这两个洞察的例子本身比较简单，但通常来说，即使是复杂的数据报告，也是由一个个相对简单的洞察结论组成的，这其中涉及到问题的分拆，逻辑线的建立等一系列内容。作为初学者，做到自己力所能及的程度就好。
总结一下，所谓洞察，就是要越过数据，去推测和理解真实情况。单纯描述数据，谁都会做，根据数据得出有价值的结论，报告才有意义。

Step 7：报告撰写

都到这一步了，相信各位对数据报告也不再陌生了。这一步中，需要保证的是数据报告内容的完整性。
一个完整的数据报告，应至少包含以下六块内容：
报告背景
报告目的
数据来源、数量等基本情况
分页图表内容及本页结论
各部分小结及最终总结
下一步策略或对趋势的预测
其中，背景和目的决定了你的报告逻辑（解决什么问题）；数据基本情况告诉对方你用了什么样的数据，可信度如何；分页内容需要按照一定的逻辑来构建，目标仍然是解决报告目的中的问题；小结及总结必不可少；下一步策略或对趋势的预测能为你的报告加分。
还觉得复杂么？我再换一种说法：
各位应该都写过议论文，一份好的数据分析报告其实就是一篇好的议论文，立论（背景）——破题（目的）——列举论据（图表+结论）——论证论点（小结及总结）——结题（策略或预测）。按照这个逻辑去组织你的报告，你的论点就很容易被人接受，自然能得高分喽。

那么，普通难度的数据报告做法就是这样了。高深的固然要更难一些，但是普通的已经将整体的路径将的很清楚了。

三、数据挖掘的几种常用方法

在大数据时代，数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程，也是一种决策支持过程。其主要基于人工智能，机器学习，模式学习，统计学等。通过对大数据高度自动化地分析，做出归纳性的推理，从中挖掘出潜在的模式，可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场，并做出正确的决策。目前，在很多领域尤其是在商业领域如银行、电信、电商等，数据挖掘可以解决很多问题，包括市场营销策略制定、背景分析、企业管理危机等。大数据的挖掘常用的方法有分类、回归分析、聚类、关联规则、神经网络方法、Web数据挖掘等。这些方法从不同的角度对数据进行挖掘。

　　(1)分类。分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到摸个给定的类别中。可以应用到涉及到应用分类、趋势预测中，如淘宝商铺将用户在一段时间内的购买情况划分成不同的类，根据情况向用户推荐关联类的商品，从而增加商铺的销售量。

　　(2)回归分析。回归分析反映了数据库中数据的属性值的特性，通过函数表达数据映射的关系来发现属性值之间的依赖关系。它可以应用到对数据序列的预测及相关关系的研究中去。在市场营销中，回归分析可以被应用到各个方面。如通过对本季度销售的回归分析，对下一季度的销售趋势作出预测并做出针对性的营销改变。

　　(3)聚类。聚类类似于分类，但与分类的目的不同，是针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。

　　(4)关联规则。关联规则是隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其他数据项的出现。关联规则的挖掘过程主要包括两个阶段：第一阶段为从海量原始数据中找出所有的高频项目组;第二极端为从这些高频项目组产生关联规则。关联规则挖掘技术已经被广泛应用于金融行业企业中用以预测客户的需求，各银行在自己的ATM机上通过捆绑客户可能感兴趣的信息供用户了解并获取相应信息来改善自身的营销。

　　(5)神经网络方法。神经网络作为一种先进的人工智能技术，因其自身自行处理、分布存储和高度容错等特性非常适合处理非线性的以及那些以模糊、不完整、不严密的知识或数据为特征的处理问题，它的这一特点十分适合解决数据挖掘的问题。典型的神经网络模型主要分为三大类：第一类是以用于分类预测和模式识别的前馈式神经网络模型，其主要代表为函数型网络、感知机;第二类是用于联想记忆和优化算法的反馈式神经网络模型，以Hopfield的离散模型和连续模型为代表。第三类是用于聚类的自组织映射方法，以ART模型为代表。虽然神经网络有多种模型及算法，但在特定领域的数据挖掘中使用何种模型及算法并没有统一的规则，而且人们很难理解网络的学习及决策过程。

　　(6)Web数据挖掘。Web数据挖掘是一项综合性技术，指Web从文档结构和使用的集合C中发现隐含的模式P，如果将C看做是输入，P看做是输出，那么Web挖掘过程就可以看做是从输入到输出的一个映射过程

   (7)特征分析，是从数据库中的一组数据中提取出关于这些数据的特征式，这些特征式表达了该数据集的总体特征。如营销人员通过对客户流失因素的特征提取，可以得到导致客户流失的一系列原因和主要特征，利用这些特征可以有效地预防客户的流失。
  （8）变化和偏差分析。偏差包括很大一类潜在有趣的知识，如分类中的反常实例，模式的例外，观察结果对期望的偏差等，其目的是寻找观察结果与参照量之间有意义的差别。在企业危机管理及其预警中，管理者更感兴趣的是那些意外规则。意外规则的挖掘可以应用到各种异常信息的发现、分析、识别、评价和预警等方面。