经常听别人说 Python 在数据领域有多厉害,结果学了很长时间,连数据处理都麻烦得要死。后来才发现,原来不是 Python 数据处理厉害,而是他有数据分析神器—— pandas

    前言

    Excel 是奇葩不规范数据的重灾区,这主要是因为他有高度的灵活性,今天来看看一个多列堆叠问题。

    案例1

    公司一次线下促销活动,让运营部的小伙伴用 Excel 简单记录了商品数量,但是他们却把3天的记录分别记录在不同的列上:

    (十二):多列堆叠 - 图1

    你心中期望的数据是这样子的:

    (十二):多列堆叠 - 图2

    现在你要做各种统计数据,3天的数据手工完成当然没问题,但是如果是3个月的数据呢?

    现在来看看,在 pandas 中怎么简单转换成规范的2列数据:

    (十二):多列堆叠 - 图3

      • 第一句主要是为了最后结果的标题与原数据标题一致而已
      • 关键是第二句,这里直接使用 numpy 的 reshape 方法,即可完成需求。那么里面的 -1 与 2是啥意思?
      • .reshape(-1,2) ,其中的2就是2列,而 -1 是让 numpy 你根据数据来计算最终的行数
      • 第三句,只是把结果的数组变为一个 DataFrame
      • 至于最后的 dropna ,是把那些空行去掉

    案例2:竖向堆叠

    你可能已经注意到,上面的结果是”横向的”。也就是一行行扫过,转换成2列。

    (十二):多列堆叠 - 图4

    但你可能希望转换过程是竖向完成,这时我们可以这样子做:

    (十二):多列堆叠 - 图5

      • 这次还是先横向转换,而第二句代码则是处理的关键
      • [arr[i::3] for i in range(3)],我们需要从横向的结果每3行取出作为一个数组,进行3次,即可得到3个数组
      • np.vstack() ,通过 numpy 的 vstack 方法 把3个数组进行竖向堆叠。

    直接看示意图吧:

    (十二):多列堆叠 - 图6

    你怎么这次没有给出 Excel 的解决方式啊?

    因为如果我用公式解决,又不能自动化,不够灵活。

    如果我用 vba ,又要自己写循环,太繁琐了。

    用 pandas 不就是为了既可自动化处理,又可以少写点代码吗

    总结

      • numpy 的 reshape 方法,可以快速把数组转换成指定行数或列数
      • 用 -1 可以让 numpy 自动计算行或列的数量

    需要源码的小伙伴,公众号发送”数据处理”

    如果希望从零开始学习 pandas ,那么可以看看我的 pandas 专栏。

    扫描二维码

    获取更多精彩

    数据大宇宙

    (十二):多列堆叠 - 图7