第一章：第一节：数据载入及初步观察-课程

复习：这门课程得主要目的是通过真实的数据，以实战的方式了解数据分析的流程和熟悉数据分析python的基本操作。知道了课程的目的之后，我们接下来我们要正式的开始数据分析的实战教学，完成kaggle上泰坦尼克的任务，实战数据分析全流程。 这里有两份资料： 教材《Python for Data Analysis》和 baidu.com & google.com（善用搜索引擎）

1 第一章：数据载入及初步观察¶

1.1 载入数据¶

数据集下载 https://www.kaggle.com/c/titanic/overview

1.1.1 任务一：导入numpy和pandas¶

In [2]:
#写入代码
import numpy as np
import pandas as pd
【提示】如果加载失败，学会如何在你的python环境下安装numpy和pandas这两个库

1.1.2 任务二：载入数据¶

(1) 使用相对路径载入数据
(2) 使用绝对路径载入数据
In [5]:
#写入代码
df = pd.read_csv(‘train.csv’)
df.head(5)
Out[5]:
.dataframe tbody tr th:only-of-type { vertical-align: middle; } .dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }

In [7]:
#写入代码
df = pd.read_csv(“/Data/DEV/GIT/hands-on-data-analysis/第一单元项目集合/train.csv”)
df.head(5)
Out[7]:
.dataframe tbody tr th:only-of-type { vertical-align: middle; } .dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }

In [8]:
os.getcwd()
Out[8]:
‘c:\Data\DEV\GIT\hands-on-data-analysis\第一单元项目集合’
【提示】相对路径载入报错时，尝试使用os.getcwd()查看当前工作目录。
【思考】知道数据加载的方法后，试试pd.read_csv()和pd.read_table()的不同，如果想让他们效果一样，需要怎么做？了解一下’.tsv’和’.csv’的不同，如何加载这两个数据集？
【总结】加载的数据是所有工作的第一步，我们的工作会接触到不同的数据格式（eg:.csv;.tsv;.xlsx）,但是加载的方法和思路都是一样的，在以后工作和做项目的过程中，遇到之前没有碰到的问题，要多多查资料吗，使用googel，了解业务逻辑，明白输入和输出是什么。

1.1.3 任务三：每1000行为一个数据模块，逐块读取¶

In [16]:
#写入代码
chunker = pd.read_csv(‘train.csv’, chunksize=1000)
for chunk in chunker:
print(chunk)
PassengerId Survived Pclass \
0 1 0 3
1 2 1 1
2 3 1 3
3 4 1 1
4 5 0 3
.. … … …
886 887 0 2
887 888 1 1
888 889 0 3
889 890 1 1
890 891 0 3

                                              Name     Sex   Age  SibSp  \<br />0                              Braund, Mr. Owen Harris    male  22.0      1   <br />1    Cumings, Mrs. John Bradley (Florence Briggs Th...  female  38.0      1   <br />2                               Heikkinen, Miss. Laina  female  26.0      0   <br />3         Futrelle, Mrs. Jacques Heath (Lily May Peel)  female  35.0      1   <br />4                             Allen, Mr. William Henry    male  35.0      0   <br />..                                                 ...     ...   ...    ...   <br />886                              Montvila, Rev. Juozas    male  27.0      0   <br />887                       Graham, Miss. Margaret Edith  female  19.0      0   <br />888           Johnston, Miss. Catherine Helen "Carrie"  female   NaN      1   <br />889                              Behr, Mr. Karl Howell    male  26.0      0   <br />890                                Dooley, Mr. Patrick    male  32.0      0   
 Parch            Ticket     Fare Cabin Embarked  <br />0        0         A/5 21171   7.2500   NaN        S  <br />1        0          PC 17599  71.2833   C85        C  <br />2        0  STON/O2. 3101282   7.9250   NaN        S  <br />3        0            113803  53.1000  C123        S  <br />4        0            373450   8.0500   NaN        S  <br />..     ...               ...      ...   ...      ...  <br />886      0            211536  13.0000   NaN        S  <br />887      0            112053  30.0000   B42        S  <br />888      2        W./C. 6607  23.4500   NaN        S  <br />889      0            111369  30.0000  C148        C  <br />890      0            370376   7.7500   NaN        Q  

[891 rows x 12 columns]

【思考】什么是逐块读取？为什么要逐块读取呢？
分治思想，处理更快
从一个有40亿行数据的csv文件中抽取出满足条件的某些行的数据，如果直接使用pandas的read_csv()方法去读取这个csv文件，那服务器的内存是会吃不消的，所以就非常有必要使用chunksize去分块处理。

1.1.4 任务四：将表头改成中文，索引改为乘客ID [对于某些英文资料，我们可以通过翻译来更直观的熟悉我们的数据]¶

PassengerId => 乘客ID
Survived => 是否幸存
Pclass => 乘客等级(1/2/3等舱位)
Name => 乘客姓名
Sex => 性别
Age => 年龄
SibSp => 堂兄弟/妹个数
Parch => 父母与小孩个数
Ticket => 船票信息
Fare => 票价
Cabin => 客舱
Embarked => 登船港口
In [17]:
#写入代码
df = pd.read_csv(‘train.csv’, names=[‘乘客ID’,’是否幸存’,’仓位等级’,’姓名’,’性别’,’年龄’,’兄弟姐妹个数’,’父母子女个数’,’船票信息’,’票价’,’客舱’,’登船港口’],index_col=’乘客ID’,header=0)
df.head()
Out[17]:
.dataframe tbody tr th:only-of-type { vertical-align: middle; } .dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }

【思考】所谓将表头改为中文其中一个思路是：将英文额度表头替换成中文。还有其他的方法吗？
参考：https://blog.csdn.net/BigData_Mining/article/details/103206343
In [3]:
df = pd.read_csv(‘train.csv’,header=0)
df.columns = [‘乘客ID’,’是否幸存’,’仓位等级’,’姓名’,’性别’,’年龄’,’兄弟姐妹个数’,’父母子女个数’,’船票信息’,’票价’,’客舱’,’登船港口’]
df.set_index(“乘客ID”)
df.head()
Out[3]:
.dataframe tbody tr th:only-of-type { vertical-align: middle; } .dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }

1.2 初步观察¶

导入数据后，你可能要对数据的整体结构和样例进行概览，比如说，数据大小、有多少列，各列都是什么格式的，是否包含null等

1.2.1 任务一：查看数据的基本信息¶

In [4]:
#写入代码
df.info()

RangeIndex: 891 entries, 0 to 890
Data columns (total 12 columns):
# Column Non-Null Count Dtype
—- ——— ——————— ——-
0 乘客ID 891 non-null int64
1 是否幸存 891 non-null int64
2 仓位等级 891 non-null int64
3 姓名 891 non-null object
4 性别 891 non-null object
5 年龄 714 non-null float64
6 兄弟姐妹个数 891 non-null int64
7 父母子女个数 891 non-null int64
8 船票信息 891 non-null object
9 票价 891 non-null float64
10 客舱 204 non-null object
11 登船港口 889 non-null object
dtypes: float64(2), int64(5), object(5)
memory usage: 83.7+ KB

【提示】有多个函数可以这样做，你可以做一下总结（这里可以给点提示吗）
In [5]:
df.describe()
Out[5]:
.dataframe tbody tr th:only-of-type { vertical-align: middle; } .dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }

1.2.2 任务二：观察表格前10行的数据和后15行的数据¶

In [6]:
#写入代码
df.head(10)
Out[6]:
.dataframe tbody tr th:only-of-type { vertical-align: middle; } .dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }

In [7]:
#写入代码
df.tail(15)
Out[7]:
.dataframe tbody tr th:only-of-type { vertical-align: middle; } .dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }

1.2.4 任务三：判断数据是否为空，为空的地方返回True，其余地方返回False¶

In [8]:
#写入代码
df.isnull().head()
Out[8]:
.dataframe tbody tr th:only-of-type { vertical-align: middle; } .dataframe tbody tr th { vertical-align: top; } .dataframe thead th { text-align: right; }

【总结】上面的操作都是数据分析中对于数据本身的观察
【思考】对于一个数据，还可以从哪些方面来观察？找找答案，这个将对下面的数据分析有很大的帮助
集中趋势的测度（众数、中位数、分位数、均值、几何平均数、切尾均值）
离散程度测度（极差、内距、方差和标准差、离散系数）
偏态与峰度测度（偏态及其测度、峰度及其测度）

1.3 保存数据¶

1.3.1 任务一：将你加载并做出改变的数据，在工作目录下保存为一个新文件train_chinese.csv¶

In [1]:
#写入代码
df.to_csv(‘train_chinese.csv’)
【总结】数据的加载以及入门，接下来就要接触数据本身的运算，我们将主要掌握numpy和pandas在工作和项目场景的运用。