经常听别人说 Python 在数据领域有多厉害,结果学了很长时间,连数据处理都麻烦得要死。后来才发现,原来不是 Python 数据处理厉害,而是他有数据分析神器—— pandas

    前言

    做数据分析时,当你拿到一份 Excel 数据之后,我相信你还没有看数据,心就已经凉了一半。这是因为大概率数据格式”好看不好算”,今天来看看怎么解决报表格式常见的合并单元格问题。

    案例1

    今天你接到一个分析需求,需要统计2年内个城市月度平均销量。

    你心里期待公司系统导出的数据是这样子:

    (十三):消除合并单元格 - 图1

    实际导出的是这样子:

    (十三):消除合并单元格 - 图2

      • city 列都是合并单元格

    你的脸色开始凝重了,因为发现正常导入后的 DataFrame 是这个鬼样子:

    (十三):消除合并单元格 - 图3

      • Excel 中的合并单元格,只有第一个格有值,其余的都是空值

    其实很容易解决,pandas 中有填充空值的方法:

    (十三):消除合并单元格 - 图4

      • .ffill() ,f 是 forward 的意思。ffill 意思是:”拿前面的值填充后面的空值”

    现在你终于放下心头大石,轻松解决城市月度均销量数据:

    (十三):消除合并单元格 - 图5

      • 不多说了,专栏都有说的内容

    pd.Grouper 可以使用各种频率,具体内容请看专栏第19节内容

    案例2

    有时候你会遇到多列的合并单元格:

    (十三):消除合并单元格 - 图6

      • city 和 sales 列都有合并单元格

    pandas 中大部分操作都能在多列间进行:

    (十三):消除合并单元格 - 图7


    案例3

    许多初学者对 pandas 有一种错觉,觉得遇到不同的数据就要重复写代码,其实我们完全可以写出许多便捷的方法。

    比如,我们可以遍历一个 DataFrame 的列以及类型,发现是文本则自动调用 ffill 方法,这样不管数据有多少合并单元格列,都可以全自动填充:

    (十三):消除合并单元格 - 图8

      • 定义方法 auto_fill_merge_cell ,参数只需要传入数据 DataFrame
      • 关键调用 pd.api.types.is_string_dtype ,判断列是否文本类型

    现在只需要简单调用此方法即可,甚至不需要指定哪些列:

    (十三):消除合并单元格 - 图9

    代码的灵活性在于你能够按照自己的想法,随意组装功能。别再以为教程所有的代码都需要重复编写

    总结

      • 遇到 Excel 的合并单元格数据时,可以使用 DataFrame 或 Series 的方法 ffill,向前填充空值

    需要源码的小伙伴,公众号发送”数据处理”

    如果希望从零开始学习 pandas ,那么可以看看我的 pandas 专栏。

    扫描二维码

    获取更多精彩

    数据大宇宙

    (十三):消除合并单元格 - 图10