2019年10月23日更新

应用场景

在搜狗实验室上下载样例数据 搜狗实验室全网新闻数据(SogouCA)

下载解压之后，文件名为news_tensite_xml.dat的数据文件，大小约为1.5GB,里面是类似HTML的标签文本。

将这些标签内的中文提取出来，使用python第三方库 jieba分词，并使用python第三方库wordcloud制作词云图。

图片.png

实现目标

  • 1小时内处理使用代码处理七百行新闻数据并生成词云
  • 使用多进程的方法加快数据处理速度，充分利用CPU资源
  • 生成的词云图冗杂数据较少，尽量减少如下几种情况的垃圾数据
    • 乱码造成的数据(比如锟斤拷…)
    • 不能代表新闻热点的数据(省委书记、市委书记、人民网….)
    • 停词(不仅、而且、还是…)
    • 标点符号和英文

解决方案

根据数据格式和最后要求输出的结果，制定如下解决方案。

  1. 整个程序需要运行两个.py脚本，一个是文件预处理脚本，处理的方式如下：
    1. 获取全部标签里面的内容(1100000行)之后，对每一行数据进行去content标签、保留汉字和去重复的操作。(使用filter、正则、和set去重)
    2. 将这个大文件分为4个小文件(280000行)，使用进程并发操作缩短速度。
  2. 另外一个文件是分词和制作词云脚本，在这个.py文件里面：
    1. 在自定义词典中获取停词和冗余词汇，导入wordcloud库里面的STOPWORD模块，将停词加入这个模块并传入词云构造方法里面去。
    2. 开启进程池，进程池大小为4，每个进程处理一个28万行的小文件。每一个进程需要做的是：将每一行数据jieba分词之后放入列表中去，最后返回给main函数。
    3. 将四个列表合并成字符串之后，放入词云对象，生词词云图片。

具体实现

最后工程为10个文件

  1. file_processor.py
  2. wc_generator.py
  3. splited_data1.dat
  4. splited_data2.dat
  5. splited_data3.dat
  6. splited_data4.dat
  7. news_tensite_xml.dat
  8. stop_words.txt
  9. news_word_cloud.png

其中1、2为.py脚本文件，其余为数据文件和生成的图片

词云图片

图片.png

代码

file_processor.py

  1. import re
  2. import time
  3. import multiprocessing as mp
  5. tic = time.time()
  7. source_dir = 'news_tensite_xml.dat'
  8. target_dir = 'splited_data'
  9. file_encoding = 'gbk'
  10. line_counter = 0
  11. order = 1
  12. lines = []
  14. with open(source_dir, 'r',encoding='gbk',errors='ignore') as f:
  15.     # 遍历这个文件的每一行
  16.     for line in f:
  17.         # 选用长度＞50,并在<content>标签内的文本文件
  18.         if len(line)>=50 and line.startswith('<content>') and line.endswith('</content>\n'):
  19.             lines.append(line[9:-11]+'\n')
  20.             line_counter += 1  # 行数+1
  21.         # 长度超过28w，分文件
  22.         if line_counter == 280000:
  23.             with open(target_dir+ str(order) + ".dat", 'w',encoding=file_encoding,errors='ignore') as f_target:
  24.                 for data in lines:
  25.                     f_target.write(data)  # 写入
  26.             order += 1 #文件计数器+1
  27.             line_counter = 0 #行数计数器+1
  28.             lines = []
  30. # 处理最后一批行数少于28w行的
  31. with open(target_dir+ str(order) + ".dat", 'w',encoding=file_encoding,errors='ignore') as f_target:
  32.     for data in lines:
  33.         f_target.write(data)  # 写入
  36. toc = time.time()
  37. print('数据去content标签完成，当前'+"已经运行:" + str(toc - tic) + '秒')
  39. tic1 = time.time()
  41. def process_job(file_order):
  42.     with open(target_dir+ file_order + ".dat", 'r', encoding=file_encoding, errors='ignore') as f_target:
  43.         for data in f_target:
  44.             pattern = re.compile(r'[^\u4e00-\u9fa5]')#仅保留中文汉字
  45.             chi_content = re.sub(pattern, '', data)
  46.             lines.append(chi_content+'\n')
  48.     content_set =set(lines)#set去重
  50.     with open(target_dir+ file_order + ".dat", 'w', encoding=file_encoding, errors='ignore') as f_target:
  51.         for line in content_set:
  52.             f_target.write(line)
  54. # 开启进程
  55. p1 = mp.Process(target=process_job,args=('1',))
  56. p2 = mp.Process(target=process_job,args=('2',))
  57. p3 = mp.Process(target=process_job,args=('3',))
  58. p4 = mp.Process(target=process_job,args=('4',))
  60. p1.start()
  61. p2.start()
  62. p3.start()
  63. p4.start()
  65. p1.join()
  66. p2.join()
  67. p3.join()
  68. p4.join()
  70. toc1 = time.time()
  72. print("正则去除非中文完成，当前已经运行:" + str(toc1 - tic1) + '秒')
  73. print("文件预处理总共需要:" + str((toc - tic)+(toc1 - tic1))+'秒')

运行结果

图片.png

wc_generator.py

  1. import multiprocessing as mp
  2. import time
  3. import wordcloud
  4. from wordcloud import STOPWORDS
  5. import jieba_fast
  7. def process_job(file_order):
  8.     lines = []
  9.     with open('splited_data' + str(file_order) + '.dat', 'r', encoding='gbk', errors='ignore') as f:
  10.         for line in f:
  11.             lines += jieba_fast.lcut(line)
  12.     # 返回空格作为分隔符的字符串
  13.     return ' '.join(lines)
  15. def mult_process():
  16.     po = mp.Pool(processes=4) #进程池大小4，每个进程处理一份数据
  17.     # 分配文件到进程
  18.     multi_res = [po.apply_async(process_job, (i+1,)) for i in range(4)]
  19.     # 进程关闭
  20.     po.close()
  21.     po.join()
  23.     all_words = ''# 组装全部进程处理的字符串
  24.     for res in multi_res:
  25.         all_words+=res.get()
  27.     return all_words
  30. def wold_cloud_generator( ):
  31.     # 添加停词，对停词词典中的词语不在图中显示
  32.     stopwords = STOPWORDS.update(my_stopwords)
  34.     # 配置词云图
  35.     w = wordcloud.WordCloud(font_path="TTTGB-Medium.ttf",width=1000,height=700,background_color="white",stopwords=stopwords)
  37.     w.generate(all_words)  # 向wordcloud对象中添加txt文本
  38.     w.to_file("news_word_cloud.png")  # 将词云输出成图像文件
  40. if __name__ == '__main__':
  41.     tic = time.time()
  42.     # 计时开始
  44.     with open('stop_words.txt', 'r', encoding='utf8', errors='ignore') as f:
  45.         my_stopwords = f.read().split('\n')
  47.     # 多线程处理数据
  48.     all_words = mult_process()
  50.     # 将all_words制作词云图
  51.     wold_cloud_generator()
  53.     # 计时结束
  54.     toc = time.time()
  55.     print("程序运行时间:"+str(toc-tic)+'秒，约为'+str((toc-tic)//60)+'分钟')

运行结果

图片.png

总结

通过这次词云图制作，学会了：

  • 处理文本读取和写入的错误忽略和字符编码选择
  • 多进程处理占用cpu时间较长的程序，加快程序运行速度。
  • 了解了正则在处理大字符串的时候，由于时间复杂度的原因处理耗时可能会非常不理想，如果有更好的替代方案就不使用。
  • jieba、worldcloud、time、multprocessing库的基本使用方法