(二十):数值条件统计 - 图1

    此系列文章收录在公众号中:数据大宇宙 > 数据处理 >E-pd

    经常听别人说 Python 在数据领域有多厉害,结果学了很长时间,连数据处理都麻烦得要死。后来才发现,原来不是 Python 数据处理厉害,而是他有数据分析神器—— pandas

    前言

    上一节我们重点介绍了针对文本条件的统计方式,这次来把数值相关的讲解一下,并且用一个 Excel 操作思维带你理解 pandas 的运算逻辑。

    继续使用泰坦尼克号沉船事件的乘客名单作为例子:

    (二十):数值条件统计 - 图2

    • pclass:船舱等级

    • survived:是否生还

    • fare:票价

    • sex:性别

    • home.dest:住址

    如果你看过上一节文章,想必应该理解到,在 pandas 中,不管是数值或是文本的条件统计,本质都是构造条件 bool 列,之后的处理是一样的。

    废话少说,直接看各种复杂需求!

    案例1:简单需求

    “30岁以上的人数”

    先看看 Excel 函数公式的做法:

    (二十):数值条件统计 - 图3

    • 简单使用 countifs 即可

    • 注意,第二个参数使用文本(双引号包围),主要是因为需要使用 大于号。这使得函数公式的语义更好

    pandas 中数值条件也很非常容易表达:

    (二十):数值条件统计 - 图4

    • 行1:df.age >30 构造出”年龄大于30”的 bool 列

    与 Excel之间的关系

    你会发现,其实 pandas 中的运算操作,与 Excel 函数公式的运算是非常相似(数组公式更相似),pandas 的操作就像你在第一行写了一个处理逻辑公式,他就自动为你把逻辑公式复制一整列。

    不知道我说啥?看看下面的 Excel 操作演示,来实现”30岁以上的人数”:

    代码 df.age >30 相当于如下操作:

    (二十):数值条件统计 - 图5

    • pandas 代码, df.age >30 ,构造出条件 bool 列,过程如上

    • 在数据旁边新增一列,直接执行 C2 单元格是否大于30,结果是一个 bool 值

    • 由于 pandas 代码是直接指定 年龄 列是否大于30,因此相当于自动把 E2 单元格的公式复制下去

    此时,代码 df[cond] ,相当于如下操作:

    (二十):数值条件统计 - 图6

    • df[cond] 相当于 df[df.age > 30]

    • 相当于在辅助列上做筛选,把 true 值的行筛选出来!

    • 所以你会发现,如果只是执行 df[cond] ,得到的是那些年龄大于30的行

    如果你熟悉 Excel 的功能,你可能会说:”这不就是智能表格?!”

    是的,智能表格更能体现,如下:

    (二十):数值条件统计 - 图7

    • 创建表格

    (二十):数值条件统计 - 图8

    • 在表格旁边输入公式

    • 注意此时公式中的引用不是单元格地址,而是直接以列名显示

    • 这个地方与 pandas 非常相似,这是因为他们都是在表达,你在操作一个有结构的表格

    当你按下回车,公式自动填充:

    (二十):数值条件统计 - 图9

    其他各种需求

    当你理解了上面的思路,那么只要你熟悉 pandas 各种构造 bool 列的技巧,各种需求基本难不倒你。

    “30岁以上 男女的人数”:

    (二十):数值条件统计 - 图10

    一个个写,太麻烦了,直接条件筛选,分组统计:

    (二十):数值条件统计 - 图11

    “男女高于各自性别的平均年龄的人数”

    (二十):数值条件统计 - 图12

    • 有没有发现男性的人数与之前需求的人数很接近?因为刚好男性的平均年龄在30岁左右

    当然,还是可以直接分组统计的:

    (二十):数值条件统计 - 图13

    “男女各自年龄最小的人的资料”:

    (二十):数值条件统计 - 图14

    • 他们都在 S 港口上船,同是三等舱

    • 女生获救了,男生遇难了

    “男女各自年龄最大的人的资料”:

    (二十):数值条件统计 - 图15

    • 他们都是在 S 港口上船,同是一等舱

    • 他们都获救了

    • 一等舱可能更靠近甲板,逃生更容易

    最后来一个复杂一点的需求。

    “看看各个年龄段,男女的生还情况”:

    (二十):数值条件统计 - 图16

    • 简单让 pandas 按数据中的年龄,平均划分成4段

    • 大概可以看出,男性的生还率低于女性,特别是20到40岁这个年龄段

    • 更多针对泰坦尼克号沉船事件数据的详细分析,可以查看 公众号中:数据大宇宙 > 数据分析 > 探索分析 系列文章

    关于透视表和数据分段,请查看 pandas 专栏 [带你玩转Python数据处理—pandas] 相关文章

    总结

    本文重点:

    • pandas 中构造 bool 列的过程,与 Excel 操作智能表格非常相似

    • idxmin、idxmax 可以根据一列值的最小或最大值,获得对应的行索引值

    需要源码的小伙伴,公众号发送”数据处理”

    如果希望从零开始学习 pandas ,那么可以看看我的 pandas 专栏。

    觉得写得不错,点击右下方”在看”

    扫描二维码

    获取更多精彩

    数据大宇宙

    (二十):数值条件统计 - 图17