引自:pandas用法总结
先收藏,用的时候慢慢加以自己的理解
一、生成数据表
1、首先导入pandas库,一般都会用到numpy库,所以我们先导入备用:
import numpy as npimport pandas as pd
2、导入CSV或者xlsx文件:
df = pd.DataFrame(pd.read_csv('name.csv',header=1))df = pd.DataFrame(pd.read_excel('name.xlsx'))
或者
import pandas as pdfrom collections import namedtupleItem = namedtuple('Item', 'reply pv')items = []with codecs.open('reply.pv.07', 'r', 'utf-8') as f:for line in f:line_split = line.strip().split('\t')items.append(Item(line_split[0].strip(), line_split[1].strip()))df = pd.DataFrame.from_records(items, columns=['reply', 'pv'])
3、用pandas创建数据表:
df = pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006],"date":pd.date_range('20130102', periods=6),"city":['Beijing ', 'SH', ' guangzhou ', 'Shenzhen', 'shanghai', 'BEIJING '],"age":[23,44,54,32,34,32],"category":['100-A','100-B','110-A','110-C','210-A','130-F'],"price":[1200,np.nan,2133,5433,np.nan,4432]},columns =['id','date','city','category','age','price'])
二、数据表信息查看
1、维度查看:
df.shape
2、数据表基本信息(维度、列名称、数据格式、所占空间等):
df.info()
3、每一列数据的格式:
df.dtypes
4、某一列格式:
df[‘B’].dtype
5、空值:
df.isnull()
6、查看某一列空值:
df.isnull()
7、查看某一列的唯一值:
df[‘B’].unique()
8、查看数据表的值:
df.values
9、查看列名称:
df.columns
10、查看前10行数据、后10行数据:
df.head() #默认前10行数据df.tail() #默认后10 行数据
三、数据表清洗
1、用数字0填充空值:
df.fillna(value=0)
2、使用列prince的均值对NA进行填充:
df[‘prince’].fillna(df[‘prince’].mean())
3、清楚city字段的字符空格:
df[‘city’]=df[‘city’].map(str.strip)
4、大小写转换:
df[‘city’]=df[‘city’].str.lower()
5、更改数据格式:
df[‘price’].astype(‘int’)
6、更改列名称:
df.rename(columns={‘category’: ‘category-size’})
7、删除后出现的重复值:
df[‘city’].drop_duplicates()
8 、删除先出现的重复值:
df[‘city’].drop_duplicates(keep=‘last’)
9、数据替换:
df[‘city’].replace(‘sh’, ‘shanghai’)
