scrapy

执行工程时，在后面加上 —nolog可以不显示日志
response.xpath( )可以返回列表
但是里面存储的是select对象，要想获取具体内容，还需要.extract( )
这个方法可以将列表的所有内容展示出来
xx=’’.join( xx) 如果返回的是列表就这样做
user-agent
robot协议
持久化存储
基于终端指令
执行工程时后面加-o 文件路径
但是只能存储位以下文件格式

基于管道 来持久化存储

scrapy startproject 项目名字
转移到该文件夹目录下
scrapy genspider 名字 www.xx.com