问题产生描述

使用子进程处理一个大的日志文件，并对文件进行分析查询，需要等待子进程执行的输出结果，进行下一步处理。

出问题的代码

启用子进程执行外部shell命令

  1. # 启用子进程执行外部shell命令
  2. def __subprocess(self,cmd):
  3.    try:
  4.        # 执行外部shell命令， 输出结果输出管道
  5.        p = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT)  
  6.        p.wait()
  8.        # 从标准输出读出shell命令的输出结果
  9.        #rt = p.stdout.read().decode()
  11.        # 以换行符拆分数据，并去掉换行符号存入列表
  12.        rt_list = rt.strip().split('\n')
  14.    except Exception as e:
  15.        if(DEBUG):
  16.            print(traceback.format_exc())
  18.    return rt_list

问题分析

子进程产生一些数据，他们会被buffer起来，当buffer满了，会写到子进程的标准输出和标准错误输出，这些东西通过管道发送给父进程。当管道满了之后，子进程就停止写入，于是就卡住了，及时取走管道的输出就不会出现阻塞了

但是本人此处采取的是临时文件接收子进程输出，由于临时文件是建立在磁盘上的，没有size的限制，并且文件被close后，相应的磁盘上的空间也会被释放掉。

已改进的代码

  1. import tempfile
  2. # 启用子进程执行外部shell命令
  3. def __subprocess(self,cmd):
  4.     try:
  5.         # 得到一个临时文件对象， 调用close后，此文件从磁盘删除
  6.         out_temp = tempfile.TemporaryFile(mode='w+')
  7.         # 获取临时文件的文件号
  8.         fileno = out_temp.fileno()
  10.         # 执行外部shell命令， 输出结果存入临时文件中
  11.         p = subprocess.Popen(cmd, shell=True, stdout=fileno, stderr=fileno) 
  12.         p.wait()
  14.         # 从临时文件读出shell命令的输出结果
  15.         out_temp.seek(0)
  16.         rt = out_temp.read()
  18.         # 以换行符拆分数据，并去掉换行符号存入列表
  19.         rt_list = rt.strip().split('\n')
  21.     except Exception as e:
  22.         if(DEBUG):
  23.             print(traceback.format_exc())
  25.     finally:
  26.         if out_temp:
  27.             out_temp.close()
  29.     return rt_list

————————————————
版权声明：本文为CSDN博主「独一无二的小个性」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/u010649766/article/details/75573887