引自:pandas用法总结
先收藏,用的时候慢慢加以自己的理解

一、生成数据表

1、首先导入pandas库,一般都会用到numpy库,所以我们先导入备用:

  1. import numpy as np
  2. import pandas as pd

2、导入CSV或者xlsx文件:

  1. df = pd.DataFrame(pd.read_csv('name.csv',header=1))
  2. df = pd.DataFrame(pd.read_excel('name.xlsx'))

或者

  1. import pandas as pd
  2. from collections import namedtuple
  3. Item = namedtuple('Item', 'reply pv')
  4. items = []
  5. with codecs.open('reply.pv.07', 'r', 'utf-8') as f:
  6. for line in f:
  7. line_split = line.strip().split('\t')
  8. items.append(Item(line_split[0].strip(), line_split[1].strip()))
  9. df = pd.DataFrame.from_records(items, columns=['reply', 'pv'])

3、用pandas创建数据表:

  1. df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006],
  2. "date":pd.date_range('20130102', periods=6),
  3. "city":['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '],
  4. "age":[23,44,54,32,34,32],
  5. "category":['100-A','100-B','110-A','110-C','210-A','130-F'],
  6. "price":[1200,np.nan,2133,5433,np.nan,4432]},
  7. columns =['id','date','city','category','age','price'])

二、数据表信息查看

1、维度查看:

  1. df.shape

2、数据表基本信息(维度、列名称、数据格式、所占空间等):

  1. df.info()

3、每一列数据的格式:

  1. df.dtypes

4、某一列格式:

  1. df[‘B’].dtype

5、空值:

  1. df.isnull()

6、查看某一列空值:

  1. df.isnull()

7、查看某一列的唯一值:

  1. df[‘B’].unique()

8、查看数据表的值:

  1. df.values

9、查看列名称:

  1. df.columns

10、查看前10行数据、后10行数据:

  1. df.head() #默认前10行数据
  2. df.tail() #默认后10 行数据

三、数据表清洗

1、用数字0填充空值:

  1. df.fillna(value=0)

2、使用列prince的均值对NA进行填充:

  1. df[‘prince’].fillna(df[‘prince’].mean())

3、清楚city字段的字符空格:

  1. df[‘city’]=df[‘city’].map(str.strip)

4、大小写转换:

  1. df[‘city’]=df[‘city’].str.lower()

5、更改数据格式:

  1. df[‘price’].astype(‘int’)

6、更改列名称:

  1. df.rename(columns={‘category’: category-size’})

7、删除后出现的重复值:

  1. df[‘city’].drop_duplicates()

8 、删除先出现的重复值:

  1. df[‘city’].drop_duplicates(keep=‘last’)

9、数据替换:

  1. df[‘city’].replace(‘sh’, shanghai’)

四、未完待续…