3. 13、pandas的基本功能与常用的数学统计方法_笔记
    6. # pandas的基本功能
    7. # 1、数据文件读取 文本数据读取
    8. # 2、索引、选取和数据过滤
    9. # 3、算术运算和数据对齐
    10. # 4、函数的应用和映射
    11. # 5、重置索引
    13. # 通过pandas提供的read_XXX相关的函数可以读取文件中的数据，并形成DataFrame
    14. # 常用的数据读取方法为read_csv 主要可以读取文本类型的数据
    15. # help(pd.read_csv)
    16. # help(pd.read_excel)
    17. # csv的数据的表格形式的 并且是最简单的表格 直接看看图片
    19. # pandas：数据过滤获取
    20. # 通过DataFrame的相关方式可以获取对应的列或者数据形成一个新的DataFrame，方便后续进行统计计算
    21. # pandas中缺省值NaN处理方法：1 isnull  2 notnull  3 dropna  4 fillna
    22. # df.dropna()  默认丢弃只要包含nan数据的行 axis=1则是丢弃列 how='any'默认 如果设置how='all'则表示全部为nan才丢弃
    24. # df.fillna()  填充缺失值
    26. # pandas常用的数学统计方法
    27. # count 计算非NA值的数量
    28. # describe 针对Series或DataFrame列计算统计
    29. # min/max/sum 计算最小值 最大值  总和
    30. # argmin argmax 计算能够获取到最小值和最大值的索引位置（整数）
    31. # idxmin idxmax 计算能够获取到最小值和最大值的索引值
    32. # quantile   计算样本的分位数（0到1）
    33. # mean   值的平均数
    34. # median  值的中位数
    35. # mad 根据平均值计算平均绝对距离差
    36. # var 样本数值的方差
    37. # std 样本值的标准差
    38. # cumsum 样本值的累计和
    39. # cummin  cummax  样本的累计最小值 最大值
    40. # cumprod  样本值的累计积
    41. # pct_change  计算百分数变化
    42. # print(df2.describe())
    43. # print(df2.quantile())
    46. # 相关系数   具体看图片
    47. # print(df2.corr())
    48. # 协方差
    49. # print(df2.cov())
    51. # pandas:唯一值、值频率计算以及成员资格
    52. # unique方法用于获取Series或DataFrame某列中的唯一值数组（去重数据后的数组)
    53. # value_counts方法用于计算一个Series或DataFrame某列中各值的出现频率
    54. # isin方法用于判断矢量化集合的成员资格，是否在里面，可用于选取Series中或DataFrame列中数据的子集
    56. # -*- coding: utf-8 -*-
    57. __author__ = 'dongfangyao'
    58. __date__ = '2018/1/2 下午3:29'
    59. __product__ = 'PyCharm'
    60. __filename__ = 'pandas4'
    61. import pandas as pd
    62. import numpy as np
    64. # pd.read_csv()
    65. # pd.read_excel()
    66. # pd.read_json()
    69. # DataFrame数据的切片
    70. # pandas当中处理NaN缺省值的方式：1、isnull 2 notnull
    71. # 3、dropna()  4、fillna()
    73. dict1 = {
    74.    '语文': [90, 88, 67],
    75.    '数学': [99, 78, 89],
    76.    '外语': [98, 102, 125],
    77.    '物理': 88
    78. }
    79. df2 = pd.DataFrame(dict1)
    80. # df2['数学'][1] = np.nan
    81. # df2.ix[1] = np.nan
    82. # print(df2)
    84. print('-----')
    85. # print(df2.dropna(axis=1))
    87. df3 = pd.DataFrame(np.random.random((7, 3)))
    88. # print(df3)
    89. df3.ix[:4, 1] = np.nan
    90. df3.ix[:2, 2] = np.nan
    91. # print(df3)
    92. print('-------')
    93. # print(df3.fillna(1))
    94. # print(df3.fillna({1: 0.5, 2: -1}))
    96. # print(df2.describe())
    97. # print(df2.median())
    98. # print(df2.var())
    99. # print(df2.std())
    100. # print(df2.corr())
    101. # print(df2.cov())
    103. s1 = pd.Series(['a', 'b', 'c', 'b', 'a'])
    104. # print(s1.unique())
    105. # print(s1.value_counts()['a'])
    106. # print(s1.isin(['a', 'b']))
    108. df4 = pd.DataFrame(np.random.randint(10, 16, (3, 3)), columns=['dfy', 'zs', 'ls'])
    109. print(df4)
    110. # print(df4.ix[0].unique())
    111. # print(df4['dfy'].unique())
    112. # print(df4['dfy'].value_counts())
    113. # print(df4.ix[0].value_counts())
    114. print(df4['dfy'].isin([11]))
    121. 复制代码