pandas基础使用方法

记录维维的每一篇Hello World

导入pandas工具包

import pandas as pd
import numpy as np

创建数据表

data = {
    'name': ['张三', '李四', '王五', '赵六', '麻子'],
    'sex': ['男', '男', '女', '男', np.nan],
    'age': [19, 18, 21, 23, np.nan]
}
df = pd.DataFrame(data)

查看数据表行列数

row, col = df.shape

查看数据表的值

values = df.values

查看数据表列名称

header = df.columns

查看数据表前两行数据

head = df.head(2)

查看数据表后两行数据

tail = pd.tail(2)

查看name的第一行

name = df['name'][0]

数据表的索引

index = df.index

查看第一行数据

d = df.loc[0]

查看一到二行数据

d = df.iloc[1:3]

设置年龄为索引列，查看20岁以下的数据

df.set_index('age')
r = df.loc[:'20']

查看0，2，4行的4，5列

r = df.iloc[[0,2,4],[4,5]]

查看sex是否为女

r = df['sex'].isin(['女'])

查看sex为男或者na的数据

r = df.loc[df['sex'].isin(['男','na'])]

使用NULL对NA进行填充

df.fillna(value='NULL')

使用列age的均值对NA进行填充

df['age'].fillna(df['age'].mean())

字母小写

df['name']=df['name'].map(str.lower)

字符替换

df['name'].replace('张三', '张总')

数据表合并

df1=pd.DataFrame({"id":[1001,1002,1003,1004,1005,1006,1007,1008], 
                  "gender":['male','female','male','female','male','female','male','female'],
                  "pay":['Y','N','Y','Y','N','Y','N','Y',],
                  "m-point":[10,12,20,40,40,40,30,20]})
df_inner=pd.merge(df,df1,how='inner') # 匹配合并，交集
df_left=pd.merge(df,df1,how='left') 
df_right=pd.merge(df,df1,how='right') 
df_outer=pd.merge(df,df1,how='outer') #并集

设置索引列

df_inner.set_index('age')

按age大小排序

df.sort_values(by=['age'])

按照索引列排序

df.sort_index()

按条件赋值

df['sex1'] = np.where(df['sex'] == '男', 'male', 'famale')

按条件赋值

df.loc[(df['sex1'] == 'male') & (df['age'] >= 20), 'sign']=1

根据已有数据表创建新数据表

pd.DataFrame(
    (x.split('a') for x in df['sex1']),
    index=df.index, columns=['low','upp']
)

截取前三个数据创建新数据表

df2 = pd.DataFrame(df['sex'].str[:3])

数据筛选

# 与
a = df.loc[(df['age'] > 20) & (df['sex'] == '男'), ['name', 'age', 'sex']]
# 或
b = df.loc[(df['age'] > 22) | (df['sex'] == '男'), ['name', 'age', 'sex']]
# 非
c = df.loc[(df['sex'] != '男'), ['name', 'age', 'sex']]
# 求数量
d = df.loc[(df['sex'] != '女'), ['name', 'age', 'sex']].count()
# 求name数量
d = df.name.count()
# 使用query函数进行筛选
e = df.query('sex == ["男", "女"]')

求和

age_s = df.age.sum()

写入到csv文件

# index行索引
# header列名称
# mode写入方式
df.to_csv('E:\\123.csv', index=True, header=True, mode='w'）

写入到excel文件

# sheet_name工作表名字
df_inner.to_excel('E\\123.xlsx', sheet_name='sheet_one')

读取csv文件

df3 = pd.read_csv('E:\\123.csv')

读取excel文件

df4 = pd.read_excel('E\\123.xlsx', sheet_name='sheet_one')

注意事项

1、这些仅为部分方法，更多方法百度

python环境

电脑：Windows10

python：3.10.4