1. 什么是数据分析
我从哪里来(数据从哪里来)?
我要到哪里去(数据放在哪里)?
我的人生价值是什么(数据有什么用)?
(1).数据收集
① 日常业务累积下来的数据
② 通过埋点获取来的数据
③ 通过爬虫抓取的数据
(2).数据工程
存放数据的地方
①Excel表格
②数据库
③其他存储系统,如数仓
(3).数据分析
通过数据发现
数据分析以及其中的统计学知识,必须具有科学的特征而不是数学特征,数据分析本质上是一种经验科学。
—— 《The Future of Data Analysis》 统计学家 John W.Tukey ,1962 年
得出结论,就是为了依据这个结论来做出决策。
在《云计算与大数据》一书中,对数据分析的定义是:用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。
选择做正确的事情,永远比把事情做对容易。
数据分析是零基础成为人工智能领域人才的必经之路。
数据分析是职场的通用能力,发展前景巨大。
数据分析热门有 3 个原因:
1)数据分析是大数据的核心
2)数据分析是零基础成为人工智能领域人才的必经之路
3)数据分析是职场的通用能力,发展前景巨大
2. 数据分析师在公司的价值和前景
2.1 数据分析师在公司的价值
产品部门:负责收集业务需求,提供方案。
产品/服务付费情况?产品/服务针对的人群?产品/服务满足了用户的什么需求?
运营部门:通过营销推广等,提升留存率、付费率、活跃度,从而实现销售增长。
营销活动效果怎么样?付费人数下降的原因?
技术部门:产品的开发和落地。
为业务部门提供数据,产出数据报告。
市场部门:通过活动、公关进一步拓宽知名度,完成品牌塑造。
用户开发。市场分析,竞品分析。
2.2 职业发展前景
岗位名称:数据专员、数据分析师、数据运营、商业分析师、战略分析、经营分析、市场行业分析、数据产品、数据挖掘等等。
根据能力划分为三类:初级数据分析师、中级数据分析师、高级数据分析师。
初级数据分析师:
- 工作内容:要求熟练使用 Excel,PPT。针对业务部门提出的需求来做分析,然后用 PPT 做分析报告。
例如,我认识的小 A 面试的一家互联网教育机构,公司的要求就是用 Excel 整理学生买课的信息,看看哪一门课程最受大家喜欢之类的。
- 需要掌握的核心技能:描述统计分析,Excel,PPT
- 常见的职位名称有:数据专员,数据分析师,数据运营,战略分析,经营分析,市场行业分析等。
中级数据分析师 :
- 工作内容:不仅要会技术还要懂业务,通过监控数据的波动,来发现问题、分析问题,得出结论和提出建议,为公司的决策做支持。
- 需要的核心技能:描述统计分析,Excel,PPT,SQL,可视化工具(Power BI、Tableau、帆软等)。
- (jd关键词:竞品分析、产品功能/流程优化、产品意识、市场洞察力(行业信息)、用户增长、能带领数据分析团队)
高级数据分析师:
- 工作内容:通过编程来处理数据,分析数据,建立模型,预测。
- 需要的核心技能:推论统计分析,SQL,编程语言 Python、R 等。
- (jd关键词:数据产品经理、建立产品数据收集分析监控体系、推动产品/业务的落地)
——Kaggle:全球数据科学家薪资中位数
3. 从事数据分析师需要的能力
数据分析的胜任力模型
1)理论基础:统计学
数据分析背后的理论基础是统计学。所以,掌握了统计学以后我们才能去看懂数据表达的意义是什么。
举个例子,给你一家公司员工的工资,是平均值能代表这家公司的工资水平,还是中位数能代表?
如果没学过统计学,那么可能只认识这里的平均值,而不知道中位数这个知识。但是,如果你学过了统计学就会知道,中位数比平均值更能反映出数据的集中表现。
统计学的内容比较多,详细又可以分为两类内容:描述统计分析、推论统计分析。
- 什么是描述统计分析?
对大量信息进行归纳是处理数据时最基本的任务。
中国约有 14 亿人,一张记录每位中国人的姓名和收入的电子表格包含了我们衡量这个国家经济健康状况所需的所有信息,通常我们也将多个数据集合在一起的东东叫「简称数据集」。但这张信息过量的表格其实相当于什么都没有告诉我们。这就是让人觉得讽刺的地方:经常是数据越多,事实越模糊。
因此,我们需要简化,将一系列复杂的数据减少为几个能够起到描述作用的数字,正如奥运会体操比赛中,我们将一套多难度组合的复杂动作浓缩为一个得分:9.8 分。
描述统计分析就是将一系列复杂的数据减少为几个能够起到描述作用的数字,用这些有代表性的数字来代表所有的数据。这样在面对一大堆数据时,你可在不知道所有数据的情况下就能知道数据的整体情况。
描述统计学的关键点在于,找到几个关键的数字来描述数据的整体情况。
需要掌握的4个指标:平均值、四分位数、标准差和标准分
- 什么是推论统计分析?
推论统计分析就是通过样本来推断出总体。需要掌握的知识包括概率分布、中心极限定、如何用样本估计总体、置信区间、假设检验。
例如,互联网常用的 AB 测试背后的原理就是假设检验,如果不掌握推论统计分析,那么连 AB 测试的结果也看不懂,更不用说完成一个 AB 测试实验。
2)数据分析工具,常用的分析工具有 Excel,SQL,Python 等
很多人看到现在 Python 很火,就不管自己的能力水平如何,就一头扎进学习 Python 的大潮,最后发现其实自己学不会,或者学完用不上。
真正工作里最常用的数据分析工具其实是 Excel,SQL。所以,如果你的零基础,不建议一上来就学 Python,而是先学会 Excel 分析数据,然后学会 SQL。 学会了常用的分析工具,然后再学 Python 才是加分项。
需要注意的是,除非是工作必须要求的,其他少部分公司用的工具其实不需要学习。比如有些公司要求其他编程语言,例如 R、SPSS、SAS 这些工具。现在 Pyhon 已经是人工智能排名第一的编程语言了,大部分公司要求 Python,很少部分的公司要求其他的编程语言,所以学习市场要求最多的那个技能才能找到更多机会。如果你学习了少部分公司才要求的工具,那么意味着你找工作或者跳槽只能选择这些公司,而会错失其他大部分公司的求职机会,对你整个职业生涯不利。
3)可视化工具
常用的有 Excel,商业智能(Business Intelligence,BI)。
一般的可视化图表用 Excel 里的图表功能就可以实现,而且使用起来也方便。如果是要经常做报表,并且要求实现报表自动化,那么就需要用到商业智能工具,将数据导入商业智能工具中,就可以快速对数据进行可视化分析。
常用BI工具: Power BI、Tableau、帆软
4)业务知识,包括常用的指标、某行业的业务流程
因为数据分析是用来解决具体行业问题的,需要从业务的角度出发,了解各个指标,以及每个指标之间的关系,还需要联系业务去理解数据。所以,工作中数据分析脱离不了业务,在分析中要找到导致问题发生的根本原因,而不只是单纯的统计数据。
因此需要具备某个行业的业务知识才能去理解这个行业里的术语、业务问题等。
业务知识包括某个行业的常用指标、业务流程。
- 金融信贷行业业务流程(来自书《数据分析思维》)
- 在线教育业务流程(来自书《数据分析思维》)
如果是刚入门,这块内容做到了解即可,等进入工作以后,再慢慢深入业务,积累业务经验。具体某个行业的常用指标、业务流程可以看书《数据分析思维》,这本书里涉及了 10 多个行业的指标、业务流程。
5)数据分析思维,包括常用的分析方法
如果你的分析目的是想将复杂问题变得简单,就可以使用逻辑树分析方法,例如经典的费米问题就可以用这个分析方法。
如果你的分析目的是做行业分析,那么就可以用 PEST 分析方法,例如你想要研究中国少儿编程行业。
如果你想从多个角度去思考问题,那么就可以用多维度拆解分析方法,例如找相亲对象,需要从多个角度去分析是否合适。
如果你想进行对比分析,就要用到对比分析方法,例如你朋友问自己胖吗,就是在对比。
如果你想找到问题发生的原因,那么就要用到假设检验分析方法,其实破案剧里警察就是用这个方法来破案的。
如果你想知道 A 和 B 有什么关系,就要用到相关分析方法,例如豆瓣在我们喜欢的电影下面推荐和这部分电影相关的电影。
如果你想对用户留存和流失分析,就要用到群组分析方法,例如微博用户留存分析。
如果你想对用户按价值分类,那么就要用到 RFM 分析方法,例如信用卡的会员服务,就是对用户按价值分类,对不同用户使用不同的营销策略,从而做到精细化运营。
如果你想分析用户的行为或者做产品运营,就要用到 AARRR 模型分析方法,例如对拼多多的用户进行分析。
如果你想分析用户的转化,就要用到漏斗分析方法,例如店铺本周销量下降,想知道是中间哪个业务环节出了问题。
6)通用能力,包括 PPT、沟通能力
其实,任何职位都需要沟通能力,但是,数据分析师对沟通能力的要求更高。因为,数据分析师解决的是实际的问题,需要跨部门沟通业务,做好的数据分析报告也要展示给各个部门、领导、客户,只有好的沟通能力,才能让你的分析结果得到用户的认可。 那么这些通用能力如何提升呢?最直接的方式,就是通过写文章来提升。
通过写作可以同时提升你下面 3 个能力:
①逻辑能力
写作的本质其实是把一件事情讲清楚,而逻辑能力强的人写出来的内容,读起来更顺畅。
②文字表达能力
数据分析师要经常做数据分析报告,和通过邮件汇报分析结果。这体现的其实就是文字表达能力,提高这个能力的办法就是不断去写作。
③沟通能力
写作其实就是把想说的话通过文字和你的用户去沟通。另外,经常在社群里提问和解答他人的问题,也可以提高你的沟通能力。你会看到不同人提问的水平是不一样的,有的人可以完整的把一个问题描述清楚,有的人说完,其他人也不明白他的问题是什么。这其实就是体现了沟通能力。
不同等级的数据分析能力要求
有一个误区,很多人以为只要掌握了分析工具,就掌握了数据分析,其实不是的。从图中,我们可以看出。各个数据分析职位都需要的能力是:业务知识、分析思维、PPT、沟通能力。这些能力才可以让你从一个只会舞弄工具的普通职场人变成真正解决业务问题的职场高手。
很多人以为数据分析师需要掌握很高大的工具,其实不是的。例如腾讯里有一个岗位叫「商业数据分析师」,这听起来很高大上。其实这个职位对应的就是上图初级数据分析师的能力要求,也就是理论基础(描述统计分析),分析工具(Excel),可视化工具(Excel)。上图中黄色标出的是相对于前一职位多出来的能力。中级数据分析师在初级数据分析师要求的能力上增加了分析工具(SQL),可视化工具(商业智能 BI)。高级数据分析师在中级数据分析师要求的能力上增加了理论基础(推论统计分析),分析工具(Python)。
4. Excel、SQL、Python 技能要求
4.1 对Excel的要求
1)数据清洗相关的功能
查找和删除重复数据,对应的是 Excel 里的删除重复项功能。
数据抽取,也就是从一堆杂乱的数据中找出想要的数据,例如薪资「10k-20k」,需要从中截取出最低薪水「10」和最高薪水「20」,这就要用到 Excel 的字符串截取函数 left、right、mid)。
数据计算函数,包括平均值(average)、求和(sum)、最大值(max)、最小值(min)等),日期函数(date),判断函数(if,or,countif)。
2)数据分析相关的功能
- 描述统计分析对应 Excel 的分析工具库功能。
- 分组汇总对应 Excel 的数据透视表。
- 多表查询对应 Excel 的 vlookup,index 和 match 函数。
3)数据可视化
会制作常用的图表,包括散点图、折线图、柱状图、条形图等。
4.2 SQL 需要掌握的知识点
很多初学者会被一些资料误导,以为 SQL 要掌握到数据库管理员的水平,而去学习 SQL 所有的知识点,最后不仅太难学不会,还浪费时间。
其实不同的职位对 SQL 的要求完全不一样,例如数据库管理员职位偏重于数据库的日常维护和管理,对 SQL 要求比较高;开发工程师偏重于用 SQL 完成开发工作,需要会在编程语句中使用 SQL;数据分析师偏重于用 SQL 查询数据。
所以,作为数据分析师,SQL 主要掌握查询数据就可以了。具体来说,SQL 的查询需要掌握以下知识点,涉及到的 SQL 语法不需要会,因为这部分重点是告诉你 SQL 需要掌握什么。
1)简单查询
掌握基本的查询语句,也就是从数据库中获取数据。例如,从学生表中获取全部数据。对应的 SQL 知识点是查询语句(select)。
会根据指定的查询条件从数据库中获取符合条件的数据,例如,从学生表中获取姓名是「猴子」的学生,这里姓名=「猴子」就是查询条件。对应的 SQL 知识点是条件语句(where)。
当查询条件多的时候,需要用到运算符来表示复杂的查询条件,例如,从学生表中获取姓名是「猴子」、性别是「男」的学生,这里姓名=「猴子」、性别是「男」 就是多个查询条件。对应的 SQL 知识点是掌握以下运算符:
2)汇总分析
实际工作中,并不是简单从数据库中查询出数据就可以了,还需要分析数据。SQL 常用的分析功能包括汇总、分组、排序。
掌握下面 5 个常用的汇总函数:
分组是把数据按某个条件分为几组,然后分析每一组数据。例如从学生表中查询每个性别的学生人数,这就需要把学生按「性别」分组(也就是男生一组,女生一组),然后汇总每一组的人数。对应的的 SQL 知识点是分组语句(group by),同时还需要掌握 having 语句,它可以对分组结果指定查询条件。
排序是对数据按照从大到小,或者从小到大的顺序排序。例如,在上学期间每次做操都要按大小个子排队,这里的排队,就是按个子大小来排序。在 sql 中要会使用排序语句(order by)对查询结果排序。
3)复杂查询
实际工作中,业务分析比较复杂,往往需要很多 SQL 语句来完成复杂查询,这时候就需要用子查询来实现。子查询知识点需要掌握 3 种子查询类型:子查询、标量子查询、关联子查询。
4)多表查询
工作里往往数据不是放在一个表里,而是不同的数据放在不同的表里,例如下图是学校数据库里的 4 张表
这就需要会从不同的表中根据业务需求来获取数据,对应的就是掌握 SQL 多表查询的语法,包括下图的交叉联结、内联结、左联结、右联结、全联结。
4)窗口函数
窗口函数是 SQL 的高级功能,可以解决这几类业务问题:
- 排名问题。例如对每个班级的学生分别按成绩排名。
- TopN 问题。例如找到每个类别下用户点击最多的 5 个商品是哪些。
- 累计求和问题。例如医院的累计确诊人数是多少。
- 分组比较问题。例如查找单科成绩高于该科目平均成绩的学生信息。
4.3 Python 需要掌握的知识点
1)Python 数据分析工具
最常用的工具是 Anaconda、Jupyter Notebook 或者 JupyterLab,学会如何使用这些工具。
2)Python 基础语法
包括 4 个关键知识:数据类型、容器、函数、条件判断、循环。
3)Python 数据分析包 numpy, pandas)
4)Python 可视化图形包(matplotlib)的使用,会绘制常用的图表。
5)Python 机器学习包(scikit-learn)
6)能够用 Python 操作数据,进行数据清洗,数据抽取,数据可视化等
5. 数据分析报告怎么写
5.1 数据分析的步骤
数据分析的步骤一般分为以下 5 步:
第 1 步:明确问题
数据分析的目标,是为了解决生活或工作中遇到的问题。例如,你是某店铺的运营,想知道每个月店铺购买量最多的商品有哪些,以方便指定运营活动计划。运营活动结束后,你想评估这次活动的效果如何。这些问题都需要数据分析来解决。
而解决问题的第 1 步就是要明确问题,这可以为你后面的数据分析工作提供目标。没有经验的数据分析工作者,一开始没有明确清楚问题,就开始用分析工具操作,导致最后分析了半天却离目标越来越远。只有先定义清楚要研究的问题,才是数据分析开始的第一步。
例如,经过和业务部门沟通后,问题明确为:与上周数据对比发现,深圳地区的店铺销售额下降了 30%,原因是什么?其中,销售额 = 付费人数 X 客单价(这里的付费人数是指进入店铺产生购买行为的人数)。
第 2 步:理解数据
理解数据,就好比在追一个女孩子之前,你需要做好理解她的爱好一样。知己知彼,才能百战百胜。
拿到数据以后,可以按下图的步骤来理解数据。
1)弄清楚数据里每一列的含义。例如拿到一份 Excel 数据,要理解清楚每一列表示什么意思。不懂的地方,要和数据提供方沟通清楚。
2)对数据进行分类,有助于后期的分析。通常将数据分为 3 类:用户数据(我是谁)、行为数据(我做了什么)、产品数据(卖什么)。
- 用户数据:我是谁。用户数据是指用户的基本情况,包括姓名、性别、邮箱、年龄、家庭住址、教育水平、职业等。
- 行为数据:我做了什么。行为数据是记录用户做过什么的数据。例如知乎上,用户行为可以是用户在某个回答下的停留时间、浏览过哪些回答、购买了哪些产品等。行为数据主要包括用户做了哪些行为、发生行为的时间等。
- 产品数据:卖什么。一个平台里的东西都可以看作产品,例如知乎里的商品、优酷上的视频、公众号里的文章都可以看作产品。产品数据包括产品名称、产品类别、产品评论、库存等。
例如,拿到深圳地区的店铺销售 Excel 数据以后,和业务部门沟通清楚 Excel 里每一列的含义是什么,把数据分类。
第 3 步:数据清洗
数据清洗,也叫数据预处理。很多数据并不符合数据分析的标准,这时候就需要对数据进行「整容」,弄成我们希望的样子。例如,对深圳地区的店铺销售数据进行清洗,删除重复数据、对缺失值处理、对异常值处理等等。(保证数据的一致性)
第 4 步:数据分析
对上一步清洗后的数据进行分析,完成第 1 步里的分析目标。 如何展开分析呢?就要用到我们前面介绍的数据分析思维来展开。
例如,为了找到深圳地区的店铺销售额下降的原因,使用多维度拆解分析方法,将销售额按照指标定义(付费人数 X 客单价)拆解为付费人数、客单价两个维度。有可能是付费人数比上周下降导致这周销售额下降,也有可能是客单价比上周下降导致这周销售额下降。然后,使用假设检验、对比分析等分析方法进一步验证,知道找到问题的原因。
第 5 步:数据可视化
百闻不如一见,把数据进行可视化是观察数据变化的最好方式。同时,与他人交流你的成果最好的展示方式也是图表。将得出的分析结果用图形的方式展示出来,最终形成数据分析报告。
数据分析各步骤需要用到的数据分析胜任力
- 首先,明确问题、理解数据需要和业务部门沟通清楚业务需求,理解问题里的指标,和熟悉某行业的业务流程,需要沟通能力、业务知识。
- 数据清洗需要用分析工具来操作,并且需要统计学来理解和知道分析结果数据代表什么含义。
- 数据分析需要用分析思维来指导如何展开分析。
- 数据可视化需要用到可视化工具,最终需要用 PPT 来完成数据分析报告,然后将分析报告汇报给你的领导和客户。
5.2 什么是数据分析报告?
报告是指多一件事情的总结。在日常工作里,你需要用报告向领导汇报工作总结。在日常生活里,每年末的时候,我也会写一篇文章《一个普通人一年可以做哪些事情?》来总结自己每年做了哪些事情。相信你和我一样,也会收到各大平台会发的一个年度报告,以此来总结在这个平台上你一年做了什么。
数据分析报告,顾名思义就是数据分析+报告,也就是对完成的数据分析项目进行总结,然后形成报告。
一个数据分析项目,不能只是说结论,而是要把分析的来龙去脉说清楚,所以需要一份报告来让看你数据分析项目的人觉得你是有理有据。数据分析报告通常会制作成 Word、PPT,其中 PPT 方便演示给看报告的人。
数据分析报告主要有 4 个作用。
1) 展示分析目标
报告以某一种形式将分析目标、分析思路、分析结果、建议组织在一起,这相当于一个数据分析项目的总结,以便看报告的人可以快速了解为什么去分析,这个分析项目的背景和目的是什么。
2) 知道分析结论
看报告的人可以选择自己感兴趣的部分去看报告,往往他们最想知道分析结果,通过报告中的「分析结论」部分可以快速知道。
3) 提供决策依据
数据分析报告的「建议部分」可以为决策者提供依据。
4) 验证分析质量
一千个读者,就有一千个哈姆雷特。同样的,同一个数据,不同人的分析角度不同,往往得出的结论也会有差别。通过对报告中使用的分析方法、数据处理等的描述,可以检验数据分析的质量,结论是否可靠。
常用的几种数据分析报告有:行业分析报告、专题分析报告、日常数据通报、综合分析报告等。
1)行业分析报告
行业分析报告是对某一行业进行系统分析研究,一遍了解这一行业的发展状况。例如,在线教育行业研究报告、电商行业研究报告。
2)专题分析报告
专题分析报告是对某一问题进行专门分析研究,例如上海店铺销售下降分析报告,针对上海店铺销售下降这一问题进行专门分析研究。
3)日常数据通报
日常数据通报是某个时间范围内定期做的报表,用来来监督这段时间的数据变化。例如日报、周报、月报等。
4)综合分析报告
综合分析报告是对一个地区、公司或者部门业务进行全面评价。例如世界经济发展报告、深圳地区白领收入报告、某公司运营报告等。
5.3 如何制作一份数据分析报告?
数据分析报告最常用的是「总-分-总」这样的金字塔结构,由开篇、正文和结尾三部分组成。这种结构可以让整个数据分析报告清晰。
1)开篇
数据分析报告的第 1 部分开篇部分用于介绍清楚分析背景、目的、分析思路,也就是为什么要开展此次分析?通过分析要解决什么问题?如何开展此次分析、主要通过哪几方面开展分析的?
如果把数据分析报告比喻成地图的话,把看报告的用户比喻成想从 A 点到 B 点的人,那么开篇部分就是这份地图上从 A 点 B 点的路线,让用户可以知道整体报告是做什么的。
2)正文
数据分析报告的第 2 部分正文是详细来论证第 1 部分中的分析目的,主要包括具体分析过程和结果。
3)结尾
数据分析报告的第 3 部分结尾,相当于一份报告的总结,包括分析结论、建议。
举个例子,市面上各类求职 App 很多,各个 App 用户人群有什么不同呢?经过分析以后,你把分析总结写成了《招聘类 APP 用户人群分析报告》,这份报告长的目录如下图这样。
第一部分是开篇(分析背景与目的)
分析背景主要阐述为什么要开展此次分析?有何意义?这个数据分析报告案例里可以这样写:
各个招聘 App 在「金三银四」的招聘高峰期也迎来了用户爆发式增长。各个 App 的用户有什么不同呢?
分析目的主要写通过此次分析要解决什么问题?达到何种目的?
例如这个数据分析报告案例里可以这样写:期望通过对各个招聘 App 的用户分析,为找工作的你提供参考与指导。
这部分我们还要写出报告的分析思路,清晰地展示数据报告的分析结构,方便用户就自己所关心的部分重点阅读。分析思路是指通过哪几方面开展分析。例如这个数据分析报告案例里可以这样写:
1)通过用户数据量分析,知道哪些招聘 APP 户使用最多?
2)通过用户形象分析,知道使用招聘 APP 的都是些什么人?
3)通过用户地域分析,知道各家招聘 APP 用户都是哪些城市的人在使用?
4)通过工作地点分析,知道这些想找工作的人都在哪些地方工作?
第二部分正文围绕第一部分里的分析背景、分析目的、分析思路展开,最后在第三部分结尾(结论与建议)总结前面的分析。
6. 数据分析的工作
6.1 数据分析的日常工作:沟通、监控、分析、建议。
1)沟通
沟通需要注意哪些坑呢?
数据分析本质上是对业务的支撑,所以分析的需求是来自业务方(比如产品、运营、销售等部门)。
而业务方是不懂数据的,所以提出的需求往往天马行空,或者只是从自身业务角度出发来提需求,这就导致业务方提出的需求不明确。这时候就需要数据分析师沟通的时候,要清楚业务方需求是什么,要达到什么目标,并要求业务人员把需求写清楚。 不然你把分析结果给她,她说不对,然后让你重新提供新的数据,这样你就会陷入无限的反返工中。
另外,数据分析师还会做一些数据支持的工作,也需要沟通。 公司的业务情况会不断变化,当公司现有的系统无法满足新的业务需求时,就需要数据分析师能够从数据库中取出业务方需要的数据。
数据支持一般是临时性需求,虽然这部分工作一般工作量不大,但频次较多。需要多和业务方沟通,才能避免把自己变成一个「取数机器」。
2)监控
如果你看数据分析的招聘,通常会写这么一条要求 「制作公司日报表和月报表」。报表就是把监控的指标做到一个表格里。如果表格是每周做,叫做周报;如果是每个月做,叫做月报。通过制作报表来监控报表里面的指标,通过监控指标的变化,及早发现可能存在的问题。例如,对比上周六的日活跃用户数,发现本周六的日活跃用户数有明显下降了。只有发现了问题,才能进入下一步的分析。
3)分析
当公司业务遇到问题或者监控发现问题时,数据分析师需要分析找到问题发生的原因。例如,本周六的日活跃用户数有明显下降,需要找到下降的原因是什么导致的。数据分析师也会接到专题分析的项目。专题分析是对某一专门问题做的分析。比如销售部门想知道公司产品在微信、百度、今日头条等各个渠道的推广效果如何,就需要数据分析师做一个专题分析,然后将分析结果做成报告给销售部门。
4)建议
在针对业务出现的问题找到原因后,还不够。数据分析师要提出建议,这样才能指导业务方下一步具体如何去解决问题。需要注意的是,提建议的时候要提出多种建议,避免提出一种建议,不然业务方没法通过一种建议来作出决策。
比如诸葛亮作为刘备的数据分析师(军师),提建议的时候一般会说:上上策是 xxx,上中策是 xxx,下下策是 xxx,请主攻定夺。
数据分析师好比「诸葛亮」这样的军师,日常工作可以用一句话总结:沟通需求,监控数据,发现问题,分析原因,提出建议。
数据分析师如何与其他部门进行协作的?
由于不同公司数据分析师所在的部门也不一样,为了说清楚数据分析师如何与其他部门协作的,下面我们把产品、运营、市场等部门统称为「业务部门」,数据分析所在部门统称为「数据分析所在部门」。
各部门之间的协作如下图。
业务部门会不断提出新的业务需求,然后数据分析师和业务部门沟通需求,并做出分析报告作为交付结果给到业务部门。
如果业务部门认可数据部门做出的分析报告,并希望以后可以随时查询到相关的数据,那么数据分析师所在的部门会把数据产品化,也就是协技术发部门把数据产品做进公司后台系统,一般形式就是报表。
6.3 数据分析的挑战在哪里?
掌握了工具就好比你只知道了斧头的功能,但是却不知道如何用斧头来砍柴。很多人以为数据分析的挑战在于熟练使用分析工具(Excel、SQL、Python…),其实不是,数据分析的挑战在于很多人「不知道分析什么,不知道如何分析」 。
1) 不知道分析什么
日常数据分析师最常见的工作就是解决别人提出的问题或者自己发现问题。那么想要开展工作的第一步就是明确问题,只有明确了问题,才能知道是在分析什么。
爱因斯坦曾经说过「发现问题比解决问题更重要」。解决问题总在发现问题之后进行,找到了问题才能知道朝哪个方向去解决问题。
例如,业务部门说销售额指标下降了,怎么办?那么作为数据分析师的你,第一步不是拿出分析工具去操作,而是要先了解清楚 「销售额下降是跟谁比下降了?」,是跟上周、上个月,还是跟竞争对手的销售额比下降了?数据下降是指全国区域的数据下降了,还是哪个地区的数据下降了?
例如,经过和业务部门沟通后,你发现业务部门说的「销售额下降」是指【跟上周】数据相比,【深圳地区】的店铺销售额下降了。那么问题就可以明确为 「跟上周数据对比,深圳地区的店铺销售额下降的原因是什么?」
如何做到明确问题呢?我总结了以下 3 个提醒,可以帮助你快速明确问题。
①不要在问题里加入自己的主观判断。
有一个段子是说一个小伙子看到一个老头和他脚边的一只狗。然后小伙子问:「你的狗咬人么?」老头说:「不咬人。」于是小伙子弯腰摸了摸这条狗,结果被咬了一口。小伙子气地说:「你不是说你的狗不咬人么?」老头说:「这不是我的狗。」
像这种定义问题的错误在工作中随处可见。例如,领导告诉你:「可能是店铺付费人数下降,导致这周销售额比上周下降了。」 于是,你把问题定义为「付费人数下降导致销售额下滑,怎么办?」 这就错了。
因为在定义问题中加入了「主观判断」( 付费人数下降)就可能导致分析者忽略了其他可能的原因,而只限制在「付费人数下降」这个视野范围内。
② 明确问题来源和准确性。
我们日常看一篇新闻,想知道这篇新闻是「假新闻」还是「真新闻」,最靠谱的办法是看来源。如果是官方发布的,那么可以保证新闻的可靠性。如果是从哪个八卦平台看到的,那么新闻的可靠性就不能保证了。 同样地,当你在明确问题时,也要明确问题来源和准确性。那么从实际来说要如何做呢?
可以从时间、地点、数据来源这三方面,通过向相关人员提问的方式来沟通清楚。
例如可以这样提问:
- 针对时间:这是观察哪个时间范围的数据发现问题的?
- 针对地点:这是哪个地区的数据?
- 针对数据来源:数据来自哪个部门?是否核对过数据没有问题?
上面的例子,就是用这个方法把问题进一步明确为「通过观察销售部门(数据来源)提供的上周和这周(时间)店铺在深圳地区(地点)的销售额,发现本周比上周销售额下降了 30%,原因是什么。
③ 确定问题中涉及到的指标。
对于同一个指标,不同公司的定义也不一样,所以对于问题中涉及到的指标,要明确清楚指标的含义。
上面的例子中的问题是「店铺销售额下降的原因是什么?」,里面涉及到的业务指标是「销售额」,和业务人员沟通后,知道了指标「销售额」=付费人数 X 客单价(这里的付费人数是指进入店铺产生购买行为的人数)。
2)不知道如何分析
「不知道分析什么」可以通过明确问题来解决,「不知道如何分析」就需要用「常用的分析方法」来解决。
那么什么是分析方法呢?分析方法是将零散的想法整理成有条理的分析思路。有了分析思路,你就具备了分析思维。
如果将分析方法和盖房子做个类比,那分析方法就好比在盖房子前画的设计图,用来指导如何盖房子,是分析问题的思路。数据分析的技术工具好比盖房子中的挖土机等工具。在设计图的指导下才知道如何使用挖土机来盖好房子。同样,在分析方法的指导下你才能知道如何使用工具(Excel、SQL、Python 等)去分析数据,解决业务问题。
7. 如何选择一个好的行业和公司
7.1 如何选择行业?
说到数据分析,很多人只关心学了什么,却从来没考虑过要选择从事哪个行业的数据分析工作。然而,数据分析和行业具有很高的相关关系。不同行业之间的数据分析师差异也非常之大。因此,在磨练技能的同时也要找到自己喜欢的行业并深入研究。
我遇到很多人找工作说自己想找互联网行业的。如果你说自己想进入「互联网行业」,那就说明你还没想清楚到底要干什么。
因为互联网的存在是为了解决某个行业的问题(互联网+某个行业),比如滴滴、高德地图解决的是出行交通行业的问题(互联网+出行行业),小学英语在线平台 vipkid 解决的是教育行业的问题(互联网+教育行业),蚂蚁金服解决的是金融行业的问题(互联网+金融行业),饿了么解决的是餐饮行业的问题(互联网+餐饮行业)。
而这些行业都需要数据分析师,每个行业的业务知识也不一样。你以后找的也是成为某个具体行业的数据分析师。只有确定了行业,才能研究这个行业是什么,对症下药,这样成功的概率最大。
热门行业参考:
1)电商行业
零基础建议选择电商行业,因为现在很多行业都在做线上生意,线上就离不开电商。所以,很多招聘要求里明确要求「有电商经验」。
通过数据也可以发现电商行业是最热门的。教育部、商务部举办电子商务行业面向 2020 届高校毕业生网上招聘活动。数据显示,2018 年电子商务从业人员达 4700 万人,同比增长 10.6%,2020 年若继续保持同样增速,规模将超过 5200 万人。在线上交易增长的大背景下,保守估计今年电商行业将新增就业超 520 万人。
智联招聘联合中国人民大学中国就业研究所发布《2020 年大学生就业力报告》显示,一季度电商行业位列就业景气较好的 10 个行业该行业的就业市场景气指数为 3.55,高于全国平均值 1.38,说明招聘需求高于求职供给。
2)金融行业
选择金融行业有个前提,那就是,你要是金融相关专业毕业或者之前有从事过金融行业的工作经历才建议选择金融行业,不然找工作门槛会比较高,不利于零基础的人。
为什么这么说呢?
从长期来看,银行裁员其实已经成为一个必然趋势,这是因为人工智能可能会替代这个行业里大量人的工作。
在金融行业里,大约有 60% 的职位被人工智能替代的概率极高,替代率超过 90%,例如柜台人员、保险承包人、会计师、税务稽查员、负责放贷款的信贷员等职位。这类职位的共同特点是工作内容重复,容易被计算机设计成程序自动化完成。
有 25% 的职位人工智能替代概率很低,不到 30%,例如基金经理。但是,要成为基金经理门槛比较高。中国基金经理中的 87% 都毕业于 12 所高校,例如清华、北大、复旦这样的高校。
也就是说,能成为这个行业金字塔尖的少数很少,更是需要名校背景。但是,大多数人其实没有名校背景,不利于进入金融行业。
只有确定了行业,才能研究这个行业是什么,你要准备做哪些与行业相关的项目放到简历里。这样对症下药,找到好工作的概率才是最大的。
保持在行业上的积累,对于职业成长很重要。我看到过很多人技术很厉害,但是工作几年发展却受限,成为不了某个行业的专家。这是因为今天跳到 A 行业,明天跳到 B 行业,这样做行业经验无法积累,导致哪个行业的业务都不精通。
选择行业建议优先选择与自己之前行业相关行业的数据分析工作,因为有之前的行业经验作为你的业务知识,可以很快找到工作。如果之前的行业实在用不上或者不喜欢,可以选择电商等热门通用的行业。总之,要聚焦在某个行业上找工作,你才会有优势。
7.2 想清楚行业之后,接下来该如何选择公司?
选择公司的时候要去想:谁都不可能在一家公司干一辈子的。在决定要不要选择这家公司的时候,可以问自己这样一个问题:这份工作经历会对下一次跳槽有帮助吗?如果这段工作经历断定对你下一次跳槽没有任何加分项,甚至是减分项。到时候自己的年龄也大了,能力没有得到提升,和应届生抢工作,心态又会炸锅的。
所以,我建议你按下面几个原则去选择公司:
1)如果你只有 1 个 offer,那就先选择进入这个行业,进入以后一边工作一边学习,等合适的机会再跳槽到更好的职位。
2)如果你有多个 offer,而且是刚入职场或者转行的人,那就选择一个比较大的公司,自己喜欢的行业进入。原因有以下几点:
①平台就是你的条件概率,正所谓选择比努力更重要。大公司的工作经历会成为你未来跳槽找工作的敲门砖。
②大公司投入了大量财力物力来保证成熟的人才培养体系,进入以后会有师傅带你,跟着牛人学习你才能知道如何进步。而在小公司缺乏这样的条件,你只能自己摸索着去学习。
③大公司更加稳定,小公司风险高。目前国内中小企业平均寿命 3 年、大企业 8 年。对于刚入职场的人,一切还是空白,还要租房。要知道,创业成功率是很低的,如果刚入职场就进入小公司,你不仅技术和项目还没怎么做熟练,还要应对失业的风险。
④创业公司一般给员工的薪酬都会低于业界标准,而只能靠给员工一些股票期权来弥补。如果公司倒闭了,股票期权就成了废纸。不要做无畏的冒险,人还是要有风险意识。
4)当你以后准备换下一份工作时,简历上如果列着一些不知名的小公司,这没办法让你找到一份好工作。因为大公司市场上认可度更高。记住:名企的经历 = 名校的经历。
那什么时候适合才去小公司呢?
刚参加工作去大公司工作几年,当这些经历让你有了足够资本去任何地方的时候,再去加入创业公司也不迟,比如你的技术已经经过几年磨砺很厉害了,你的家人和孩子也已经安排妥当。只要你有资历,去创业公司的机会什么时候都会有。
5)如何查看公司哪个大呢?
可以在「国家企业信息系统」或者「天眼查」中查看,从公司注册资金,人员,资历上进行比较。Talkingdata 可以查到行业发展的概况数据、IT 桔子可以查到创业公司的融资数据。
有很多人曾问过我去大公司还是小公司,我会毫不犹豫的告诉你去大公司。
6)刚入行不要去没有人带的部门。
如果你刚入行,那么工作中会遇到各种问题,又没有经验来处理,对未来发展也好迷茫。这时候如果没有人带你,那么遇到问题身边连个可以请教的人都没有,你会不知所措的。
有人带的部门就好比电影《谍中谍》团队作战。没有人带的部门就好比电影《谍影重重》一个人奋斗。有成熟团队的部门,至少以后有问题可以相互交流,成长更快。
7.3 简历中的项目经验怎么写?
1)什么样的项目才能放到简历里?
要特别注意,简历中的项目要有针对性。我见过很多简历,里面虽然写了项目经验,但是做的项目与招聘要求没有任何关系,那么,这样的项目经验写上去有什么用呢?
项目经验是为了证明你有招聘要求中的某些技能,证明你做过这方面的事情。如果证明不了这些,那这样的项目经验请不要写进简历里去充数。
「聚焦」某个行业的项目才能有用。比如你是找电商行业的数据分析工作,那么简历上的项目要和电商行业相关才有用。如果你是找游戏行业的数据分析工作,那么简历上的项目要和游戏行业相关才有用。
我有一个成功找到工作的学员柯本,他曾经分享过他做项目的经验,他说:
「第一层境界:了解要面试的行业基本信息; 第二层境界:在网上找到一些实际的案例文章,再加上自己的见解; 第三层境界:找到竞品相关数据,并生成一个分析和可视化的报告。 如果能做到第三层境界,基本上能做到一击必中。」
所以,一个好的策略就是,你想去哪个行业的数据分析工作,就找到这个行业相关的数据,然后针对这些数据使出你的看家本领吧,分析出来个 123,尽显诚意,感动面试官,同时还能展示你的技能。
2) 如何有技巧地描述你做过的项目?
在简历中描述项目的时候,要能回答清楚下面 4 个问题,并在项目描述中把你对这个行业的业务知识提现出来,比如用到的行业指标、分析方法等:
①遇到什么问题
②采用什么数据工具解决的
③使用什么分析方法展开分析的?
④提出了哪些有价值的建议?
这样描述项目还有个好处,那就是面试官也经常会纠结于问你什么问题好,按上面描述项目,面试官就可以根据你的项目来展开提问你:
- 是用哪个分析方法来展开分析思路的?分析维度有哪些?
- 分析得出哪些结论?提出了哪些有效的建议?
需要注意的是,项目描述不要写太多,要学会适当的给面试你的人挖坑。简历的核心作用是「争取到面试机会」,不要把自己的底牌都放在简历里,适当的挖坑,引导面试官问你擅长的问题。比如可以展示项目的成果数据,但是具体是如何做的,等到面试时再去详细说。
生命那么长,不要因为大学专业或者毕业做了几年某个方向的工作,就把自己限制住在一个框架里。就我个人经历而言,我花了 7 年学习地理信息专业知识,花了 2 年从事软件开发工作,到头来还是进入了一个新的行业。只要喜欢,选择干自己喜欢的事情永远也不迟。
如果你喜欢数据,看到了大数据、人工智能时代的机会,零基础,建议从数据分析踏踏实实开始。只要喜欢,开始永远也不迟。