安装

  1. conda install pycurl
  2. pip install pyspider
  4. # 启动
  5. pyspider

错误解决

  • python版本过高（3.5及以后）

错误提示：

  1. File "/home/alvin/miniconda3/lib/python3.7/site-packages/pyspider/fetcher/tornado_fetcher.py", line 81
  2.     def __init__(self, inqueue, outqueue, poolsize=100, proxy=None, async=True):

解决方法：把关键字替换即可。

  1. sudo sed -i 's/async/shark/g' fileName  # 后面是错误文件的位置
  3. sed参数：s表示替换，g表示每行的全部，如果没有g，则每行只会替换第一个。
  • wsgidav版本过高：

错误提示：

  • Deprecated option ‘domaincontroller’: use ‘http_authenticator.domain_controller’ instead.

解决：

  1. pip uninstall wsgidav
  2. pip install wsgidav==2.4.1

使用

访问5000端口，可以看到主页面

image.png