7.2 数据整理

原文：Data Wrangling

译者：飞龙

协议：CC BY-NC-SA 4.0（原文协议：Apache License 2.0）

数据流

直接从 GitHub 挖掘数据，Viz由 GitHub API 提供支持，并利用以下内容：

• 通过 Python 使用github3.py 访问 GitHub API。
• 将下面的 IPython 笔记本 中的pandas用于数据整理。
• 通过geocoder使用 Google 地图 API 访问位置数据。
• 将 Tableau Public 用于可视化。

将来，Google BigQuery 和 GitHub Archive 也可以补充 GitHub API。

导入

import re
import pandas as pd

准备仓库数据

加载仓库数据并删除重复：

repos = pd.read_csv("data/2017/repos-dump.csv", quotechar='"', skipinitialspace=True)
print('Shape before dropping duplicates', repos.shape)
repos = repos.drop_duplicates(subset='full_name', keep='last')
print('Shape after  dropping duplicates', repos.shape)
repos.head()
'''
Shape before dropping duplicates (8697, 5)
Shape after  dropping duplicates (8697, 5)
'''

将user和repo从full_name分离，变成新列：

def extract_user(line):
    return line.split('/')[0]
def extract_repo(line):
    return line.split('/')[1]
repos['user'] = repos['full_name'].str[:].apply(extract_user)
repos['repo'] = repos['full_name'].str[:].apply(extract_repo)
print(repos.shape)
repos.head()
# (8697, 7)

准备用户数据

加载用户数据并删除重复：

users = pd.read_csv("data/2017/user-geocodes-dump.csv", quotechar='"', skipinitialspace=True)
print('Shape before dropping duplicates', users.shape)
users = users.drop_duplicates(subset='id', keep='last')
print('Shape after  dropping duplicates', users.shape)
users.head()
'''
Shape before dropping duplicates (6426, 8)
Shape after  dropping duplicates (6426, 8)
'''

将id列重命名为user：

users.rename(columns={'id': 'user'}, inplace=True)
users.head()

合并仓库和用户数据

左连接仓库和用户：

repos_users = pd.merge(repos, users, on='user', how='left')
print('Shape repos:', repos.shape)
print('Shape users:', users.shape)
print('Shape repos_users:', repos_users.shape)
repos_users.head()
'''
Shape repos: (8697, 7)
Shape users: (6426, 8)
Shape repos_users: (8697, 14)
'''

整理仓库和用户数据

重新排序列：

repos_users = repos_users.reindex_axis(['full_name',
                                        'repo',
                                        'description',
                                        'stars',
                                        'forks',
                                        'language',
                                        'user',
                                        'name',
                                        'type',
                                        'location',
                                        'lat',
                                        'long',
                                        'city',
                                        'country'], axis=1)
print(repos_users.shape)
repos_users.head()
# (8697, 14)

添加整体排名

根据星数对每个元素排名：

repos_users['rank'] = repos_users['stars'].rank(ascending=False)
print(repos_users.shape)
repos_users.head()
# (8697, 15)

验证结果：用户

等价于 GitHub 搜索查询：created：2017-01-01..2017-12-31 stars：> = 100 user：donnemartin

注意：数据可能稍微差了一些，因为搜索查询将考虑执行查询时的数据。 此笔记本中的数据于 2017 年 1 月 1 日采集，来“冻结” 2017 年的结果。从 2017 年 1 月 1 日开始，执行搜索的时间越长，差异越大。

repos_users[repos_users['user'] == 'donnemartin']

验证结果：Python 仓库

等价于 GitHub 搜索查询：created:2017-01-01..2017-12-31 stars:>=100 language:python

注意：数据可能稍微差了一些，因为搜索查询将考虑执行查询时的数据。 此笔记本中的数据于 2017 年 1 月 1 日采集，来“冻结” 2017 年的结果。从 2017 年 1 月 1 日开始，执行搜索的时间越长，差异越大。

print(repos_users[repos_users['language'] == 'Python'].shape)
repos_users[repos_users['language'] == 'Python'].head()
# (1357, 15)

验证结果：所有仓库

等价于 GitHub 搜索查询：created:2017-01-01..2017-12-31 stars:>=100

注意：数据可能稍微差了一些，因为搜索查询将考虑执行查询时的数据。 此笔记本中的数据于 2017 年 1 月 1 日采集，来“冻结” 2017 年的结果。从 2017 年 1 月 1 日开始，执行搜索的时间越长，差异越大。

print(repos_users.shape)
repos_users.head()
# (8697, 15)

输出结果

将结果写出到 csv 来在 Tableau 中可视化：

users.to_csv('data/2017/users.csv', index=False)
repos_users.to_csv('data/2017/repos-users-geocodes.csv', index=False)
repos_users.to_csv('data/2017/repos-users.csv', index=False)
repos_rank = repos_users.reindex_axis(['full_name', 'rank'], axis=1)
repos_rank.to_csv('data/2017/repos-ranks.csv', index=False)