任务说明

  • 任务主题：论文代码统计，统计所有论文出现代码的相关统计；
  • 任务内容：使用正则表达式统计代码连接、页数和图表数据；

  • 任务成果：学习正则表达式统计；

    数据处理步骤

    在原始arxiv数据集中作者经常会在论文的comments或abstract字段中给出具体的代码链接，所以我们需要从这些字段里面找出代码的链接。

  • 确定数据出现的位置；

  • 使用正则表达式完成匹配；

  • 完成相关的统计；

    正则表达式

    正则表达式(regular expression)描述了一种字符串匹配的模式（pattern），可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。

    普通字符：大写和小写字母、所有数字、所有标点符号和一些其他符号

    image.png

    特殊字符：有特殊含义的字符

    image.png

    限定符

    image.png

    具体代码实现以及讲解

    首先我们来统计论文页数，也就是在comments字段中抽取pages和figures和个数，首先完成字段读取。

    1. # 导入所需的package
    2. import seaborn as sns #用于画图
    3. from bs4 import BeautifulSoup #用于爬取arxiv的数据
    4. import re #用于正则表达式，匹配字符串的模式
    5. import requests #用于网络连接，发送网络请求，使用域名获取对应信息
    6. import json #读取数据，我们的数据为json格式的
    7. import pandas as pd #数据处理，数据分析
    8. import matplotlib.pyplot as plt #画图工具

    ```python def readArxivFile(path, columns=[‘id’, ‘submitter’, ‘authors’, ‘title’, ‘comments’, ‘journal-ref’, ‘doi’,

    1.  'report-no', 'categories', 'license', 'abstract', 'versions',
    2.  'update_date', 'authors_parsed'], count=None):

    ‘’’ 定义读取文件的函数

    1.   path: 文件路径
    2.   columns: 需要选择的列
    3.   count: 读取行数

    ‘’’

    data = [] with open(path, ‘r’) as f: 

    1.   for idx, line in enumerate(f): 
    2.       if idx == count:
    3.           break
    5.       d = json.loads(line)
    6.       d = {col : d[col] for col in columns}
    7.       data.append(d)

    data = pd.DataFrame(data) return data

data = readArxivFile(‘arxiv-metadata-oai-snapshot.json’, [‘id’, ‘abstract’, ‘categories’, ‘comments’])

  1. 这里是只选了四列添加到了data里，data如下图所示<br />![image.png](https://cdn.nlark.com/yuque/0/2021/png/12466336/1611059543681-557737ee-61b2-4f90-bd06-287b828bbdc3.png#align=left&display=inline&height=360&margin=%5Bobject%20Object%5D&name=image.png&originHeight=720&originWidth=1782&size=181926&status=done&style=none&width=891)<br />对pages进行抽取：这里给的代码出现了SettingWithCopyWarning<br />![image.png](https://cdn.nlark.com/yuque/0/2021/png/12466336/1611059657137-c6310f8c-637d-4aaf-8dbb-ff1576d68bdb.png#align=left&display=inline&height=283&margin=%5Bobject%20Object%5D&name=image.png&originHeight=566&originWidth=2012&size=160833&status=done&style=none&width=1006)<br />这里就是不要对切片设置值，在这里多设置几个变量即可
  2. ```python
  3. # 使用正则表达式匹配，XX pages
  4. data['pages'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* pages', str(x)))
  6. # 筛选出有pages的论文
  7. # 对每一行使用len函数
  8. data_with_page=data[data['pages'].apply(len) > 0]
  9. # 这里要创建一个副本
  10. data_with_page1=data_with_page.copy()
  11. # 由于匹配得到的是一个list，如['19 pages']，需要进行转换
  12. data_with_page1['pages']=data_with_page['pages'].apply(lambda x: float(x[0].replace(' pages', '')))

image.png
然后这里为了和后面代码匹配将data设置为data_with_page1的副本(这里的data和上面的data是不一样的)

  1. data=data_with_page1.copy()

对pages进行统计，统计结果如下：论文平均的页数为17页，75%的论文在22页以内，最长的论文有11232页。
image.png
接下来按照分类统计论文页数，选取了论文的第一个类别的主要类别：

  1. # 选择主要类别 先根据' '分开,再根据'.'分开
  2. data['categories'] = data['categories'].apply(lambda x: x.split(' ')[0])
  3. data['categories'] = data['categories'].apply(lambda x: x.split('.')[0])
  5. # 每类论文的平均页数
  6. plt.figure(figsize=(12, 6))
  7. data.groupby(['categories'])['pages'].mean().plot(kind='bar')

3.1.png
接下来对论文图表个数进行抽取：

  1. data['figures'] = data['comments'].apply(lambda x: re.findall('[1-9][0-9]* figures', str(x)))
  2. data1 = data[data['figures'].apply(len) > 0]
  3. data=data1.copy()  # 这里的data和上面的data也不一样了
  4. data['figures'] = data1['figures'].apply(lambda x: float(x[0].replace(' figures', '')))

image.png

  1. # 筛选包含github的论文(comments和abstract里面是否有github)
  2. data_with_code = data[
  3.     (data.comments.str.contains('github')==True)|
  4.                       (data.abstract.str.contains('github')==True)
  5. ]
  7. data_with_github=data_with_code.copy()
  8. # 空值用''填充
  9. data_with_github['text'] = data_with_code['abstract'].fillna('') + data_with_code['comments'].fillna('')
  11. # 使用正则表达式匹配论文(带有github链接的)
  12. pattern = '[a-zA-z]+://github[^\s]*'
  13. data_with_github['code_flag'] = data_with_github['text'].str.findall(pattern).apply(len)

image.png

  1. # data_with_code_flag = data_with_github[data_with_github['code_flag'] == 1] 
  2. data_with_code_flag = data_with_github[data_with_github['code_flag'] >= 1] 
  3. data_with_code_flag
  5. plt.figure(figsize=(12, 6))
  6. data_with_code_flag.groupby(['categories'])['code_flag'].count().plot(kind='bar')

3.2.png
上面需要是想要找出含有链接的数据，如果comments和abstract里都有链接或者有多个链接，那code_flag就会大于1，这样筛出来的数据就有问题了。所有我把筛选条件改为>=1了