我比较懒,找了一个集成安装环境
    Anaconda-Navigator 版本,当然它有mini版,也可以的。通过官网下载安装。
    image.png

    安装完成后打开anaconda,并在命令行启动。并安装scrapy组件,命令如下:
    conda install scrapy
    需要打个Y同意,然后等待安装完成

    然后安装代码编译器我喜欢pycharm 社区版就行。免费好用
    image.png

    以上工具皆有windows版和mac版。

    安装完成后,打开pycharm,然后创建一个项目,然后环境配置如下:
    image.png

    然后建立爬虫项目,

    scrapy startproject info
    然后进入到info文件夹
    cd info
    创建爬虫
    scrapy genspider info_spider www.baidu.com

    在info文件夹中创建一个main.py文件,执行爬虫命令
    from scrapy import cmdline
    cmdline.execute(“scrapy crawl info_spider”.split())
    这样一个简单的爬虫框架就建立好了。