学习目标

  • 目标
    • 知道Pandas的Series结构
    • 掌握Pandas的Dataframe结构
    • 了解Pandas的MultiIndex与panel结构

Pandas中一共有三种数据结构，分别为：Series、DataFrame和MultiIndex（老版本中叫Panel ）。
其中Series是一维数据结构，DataFrame是二维的表格型数据结构，MultiIndex是三维的数据结构。

1.Series

Series是一个类似于一维数组的数据结构，它能够保存任何类型的数据，比如整数、字符串、浮点数等，主要由一组数据和与之相关的索引两部分构成。Series.png

1.1 Series的创建

  1. # 导入pandas
  2. import pandas as pd
  4. pd.Series(data=None, index=None, dtype=None)
  • 参数：
    • data：传入的数据，可以是ndarray、list等
    • index：索引，必须是唯一的，且与数据的长度相等。如果没有传入索引参数，则默认会自动创建一个从0-N的整数索引。
    • dtype：数据的类型

通过已有数据创建

  • 指定内容，默认索引

    1. pd.Series(np.arange(10))
    1. # 运行结果
    2. 0    0
    3. 1    1
    4. 2    2
    5. 3    3
    6. 4    4
    7. 5    5
    8. 6    6
    9. 7    7
    10. 8    8
    11. 9    9
    12. dtype: int64

  • 指定索引

    1. pd.Series([6.7,5.6,3,10,2], index=[1,2,3,4,5])
    1. # 运行结果
    2. 1     6.7
    3. 2     5.6
    4. 3     3.0
    5. 4    10.0
    6. 5     2.0
    7. dtype: float64

  • 通过字典数据创建

    1. color_count = pd.Series({'red':100, 'blue':200, 'green': 500, 'yellow':1000})
    2. color_count
    1. # 运行结果
    2. blue       200
    3. green      500
    4. red        100
    5. yellow    1000
    6. dtype: int64

    1.2 Series的属性

    为了更方便地操作Series对象中的索引和数据，Series中提供了两个属性index和values

  • index ```python color_count.index

结果

Index([‘blue’, ‘green’, ‘red’, ‘yellow’], dtype=’object’)

  2. - values
  3. ```python
  4. color_count.values
  6. # 结果
  7. array([ 200,  500,  100, 1000])

也可以使用索引来获取数据：

  1. color_count[2]
  3. # 结果
  4. 100

2.DataFrame

DataFrame是一个类似于二维数组或表格(如excel)的对象，既有行索引，又有列索引

  • 行索引，表明不同行，横向索引，叫index，0轴，axis=0
  • 列索引，表名不同列，纵向索引，叫columns，1轴，axis=1df.png

    2.1 DataFrame的创建

    ```python

    导入pandas

    import pandas as pd

pd.DataFrame(data=None, index=None, columns=None)

  2. - 参数：
  3.    - index：行标签。如果没有传入索引参数，则默认会自动创建一个从0-N的整数索引。
  4.    - columns：列标签。如果没有传入索引参数，则默认会自动创建一个从0-N的整数索引。
  5. - 通过已有数据创建
  7. 举例一：
  8. ```python
  9. pd.DataFrame(np.random.randn(2,3))

dataframe创建举例.png
回忆咱们在前面直接使用np创建的数组显示方式，比较两者的区别。
举例二：创建学生成绩表

  1. # 生成10名同学，5门功课的数据
  2. score = np.random.randint(40, 100, (10, 5))
  4. # 结果
  5. array([[92, 55, 78, 50, 50],
  6.        [71, 76, 50, 48, 96],
  7.        [45, 84, 78, 51, 68],
  8.        [81, 91, 56, 54, 76],
  9.        [86, 66, 77, 67, 95],
  10.        [46, 86, 56, 61, 99],
  11.        [46, 95, 44, 46, 56],
  12.        [80, 50, 45, 65, 57],
  13.        [41, 93, 90, 41, 97],
  14.        [65, 83, 57, 57, 40]])

但是这样的数据形式很难看到存储的是什么的样的数据，可读性比较差！！
问题：如何让数据更有意义的显示？

  1. # 使用Pandas中的数据结构
  2. score_df = pd.DataFrame(score)

score1.png
给分数数据增加行列索引,显示效果更佳
效果：score2.png

  • 增加行、列索引 ```python

    构造行索引序列

    subjects = [“语文”, “数学”, “英语”, “政治”, “体育”]

构造列索引序列

stu = [‘同学’ + str(i) for i in range(score_df.shape[0])]

添加行索引

data = pd.DataFrame(score, columns=subjects, index=stu)

  1. <a name="NWkUu"></a>
  2. ### 2.2 DataFrame的属性
  4. - **shape**
  5. ```python
  6. data.shape
  8. # 结果
  9. (10, 5)
  • index ```python data.index

结果

Index([‘同学0’, ‘同学1’, ‘同学2’, ‘同学3’, ‘同学4’, ‘同学5’, ‘同学6’, ‘同学7’, ‘同学8’, ‘同学9’], dtype=’object’)

  2. - **columns**
  4. DataFrame的列索引列表
  5. ```python
  6. data.columns
  8. # 结果
  9. Index(['语文', '数学', '英语', '政治', '体育'], dtype='object')
  • values

直接获取其中array的值

  1. data.values
  3. array([[92, 55, 78, 50, 50],
  4.        [71, 76, 50, 48, 96],
  5.        [45, 84, 78, 51, 68],
  6.        [81, 91, 56, 54, 76],
  7.        [86, 66, 77, 67, 95],
  8.        [46, 86, 56, 61, 99],
  9.        [46, 95, 44, 46, 56],
  10.        [80, 50, 45, 65, 57],
  11.        [41, 93, 90, 41, 97],
  12.        [65, 83, 57, 57, 40]])
  • T

转置

  1. data.T

结果score转置结果.png

  • head(5)：显示前5行内容

如果不补充参数，默认5行。填入参数N则显示前N行

  1. data.head(5)

score_head.png

  • tail(5):显示后5行内容

如果不补充参数，默认5行。填入参数N则显示后N行

  1. data.tail(5)

2.3 DatatFrame索引的设置

需求：score修改索引.png

2.3.1 修改行列索引值

  1. stu = ["学生_" + str(i) for i in range(score_df.shape[0])]
  3. # 必须整体全部修改
  4. data.index = stu

注意：以下修改方式是错误的

  1. # 错误修改方式
  2. data.index[3] = '学生_3'

2.3.2 重设索引

  • reset_index(drop=False)

    • 设置新的下标索引
    • drop:默认为False，不删除原来索引，如果为True,删除原来的索引值
      1. # 重置索引,drop=False
      2. data.reset_index()
      重设索引1.png
      1. # 重置索引,drop=True
      2. data.reset_index(drop=True)

      2.3.3 以某列值设置为新的索引

  • set_index(keys, drop=True)

    • keys : 列索引名成或者列索引名称的列表
    • drop : boolean, default True.当做新的索引，删除原来的列

设置新索引案例
1、创建

  1. df = pd.DataFrame({'month': [1, 4, 7, 10],
  2.                     'year': [2012, 2014, 2013, 2014],
  3.                     'sale':[55, 40, 84, 31]})
  5.    month  sale  year
  6. 0  1      55    2012
  7. 1  4      40    2014
  8. 2  7      84    2013
  9. 3  10     31    2014

2、以月份设置新的索引

  1. df.set_index('month')
  2.        sale  year
  3. month
  4. 1      55    2012
  5. 4      40    2014
  6. 7      84    2013
  7. 10     31    2014

3、设置多个索引，以年和月份

  1. df = df.set_index(['year', 'month'])
  2. df
  3.             sale
  4. year  month
  5. 2012  1     55
  6. 2014  4     40
  7. 2013  7     84
  8. 2014  10    31

注：通过刚才的设置，这样DataFrame就变成了一个具有MultiIndex的DataFrame。

3.MultiIndex与Panel

3.1 MultiIndex

MultiIndex是三维的数据结构;
多级索引（也称层次化索引）是pandas的重要功能，可以在Series、DataFrame对象上拥有2个以及2个以上的索引。

3.1.1 multiIndex的特性

打印刚才的df的行索引结果

  1. df.index
  3. MultiIndex(levels=[[2012, 2013, 2014], [1, 4, 7, 10]],
  4.            labels=[[0, 2, 1, 2], [0, 1, 2, 3]],
  5.            names=['year', 'month'])

多级或分层索引对象。

  • index属性
    • names:levels的名称
    • levels：每个level的元组值 ```python df.index.names

      FrozenList([‘year’, ‘month’])

df.index.levels

FrozenList([[1, 2], [1, 4, 7, 10]])

  1. <a name="IuING"></a>
  2. #### 3.1.2 multiIndex的创建
  3. ```python
  4. arrays = [[1, 1, 2, 2], ['red', 'blue', 'red', 'blue']]
  5. pd.MultiIndex.from_arrays(arrays, names=('number', 'color'))
  7. # 结果
  8. MultiIndex(levels=[[1, 2], ['blue', 'red']],
  9.            codes=[[0, 0, 1, 1], [1, 0, 1, 0]],
  10.            names=['number', 'color'])

3.2 Panel

3.2.1 panel的创建

  • class pandas.Panel(data=None, items=None, major_axis=None, minor_axis=None)
    • 作用：存储3维数组的Panel结构
    • 参数：
      • data : ndarray或者dataframe
      • items : 索引或类似数组的对象，axis=0
      • major_axis : 索引或类似数组的对象，axis=1
      • minor_axis : 索引或类似数组的对象，axis=2 ```python p = pd.Panel(data=np.arange(24).reshape(4,3,2),
        1.      items=list('ABCD'),
        2.      major_axis=pd.date_range('20130101', periods=3),
        3.      minor_axis=['first', 'second'])

结果

Dimensions: 4 (items) x 3 (major_axis) x 2 (minor_axis) Items axis: A to D Major_axis axis: 2013-01-01 00:00:00 to 2013-01-03 00:00:00 Minor_axis axis: first to second

  1. <a name="yd9H9"></a>
  2. #### 3.2.2 查看panel数据
  3. ```python
  4. p[:,:,"first"]
  5. p["B",:,:]

注：Pandas从版本0.20.0开始弃用：推荐的用于表示3D数据的方法是通过DataFrame上的MultiIndex方法

4 小结

  • pandas的优势【了解】
    • 增强图表可读性
    • 便捷的数据处理能力
    • 读取文件方便
    • 封装了Matplotlib、Numpy的画图和计算
  • series【知道】
    • 创建
      • pd.Series([], index=[])
      • pd.Series({})
    • 属性
      • 对象.index
      • 对象.values
  • DataFrame【掌握】
    • 创建
      • pd.DataFrame(data=None, index=None, columns=None)
    • 属性
      • shape — 形状
      • index — 行索引
      • columns — 列索引
      • values — 查看值
      • T — 转置
      • head() — 查看头部内容
      • tail() — 查看尾部内容
    • DataFrame索引
      • 修改的时候,需要进行全局修改
      • 对象.reset_index()
      • 对象.set_index(keys)
  • MultiIndex与Panel【了解】
    • multiIndex:
      • 类似ndarray中的三维数组
      • 创建：
        • pd.MultiIndex.from_arrays()
      • 属性：
        • 对象.index
    • panel：
      • pd.Panel(data, items, major_axis, minor_axis)
      • panel数据要是想看到,则需要进行索引到dataframe或者series才可以