1. https://github.com/scrapy/scrapy
    2. https://github.com/scrapy/dirbot
    5. 教程
    6. https://scrapy-chs.readthedocs.io/zh_CN/1.0/topics/media-pipeline.html
    7. http://kaito-kidd.com/
    9. es-py 教程
    10. http://fingerchou.com/2017/08/12/elasticsearch-dsl-with-python-usage-1/
    12. https://github.com/kaito-kidd/fast-translation
    14. http://wsbs.sz.gov.cn/shenzhen/project/index?service=c
    15. http://wsbs.sz.gov.cn/shenzhen/icity/project/itemlist?dept_id=007542689&type=all
    17.  1、使用pip安装:
    18. pip install Scrapy
    20.  2、操作
    21. 2.1创建项目
    22. scrapy startproject bfirepc
    23. 2.2 编辑代码
    24. 代码，保存在 bfirepc/spiders 目录下的 dmoz_spider.py 文件中
    25. #!/usr/bin/env python
    26. # -*- coding: utf-8 -*-
    27. """
    28. __title__ = ''
    29. __author__ = 'BfireLai'
    30. __mtime__ = '2018/4/11'
    31. """
    32. import scrapy
    34. from ..items import BfirepcItem
    36. class DmozSpider(scrapy.Spider):
    37.    name = 'dmoz'
    38.    allowed_domains = ['dmoz.org']
    39.    headers = {
    40.       'User-Agent':'User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
    41.       'Host':'www.win4000.com',
    42.       'Referer':'http://www.win4000.com/meitu.html',
    43.    }
    45.    def start_requests(self):
    46.       urls = [
    47. #        'http://www.win4000.com/meinv146050.html',
    48. #        'http://www.win4000.com/meinv146045.html',
    49.          'http://www.win4000.com/meitu.html'
    50.       ]
    51.       for url in urls:
    52.          yield scrapy.Request(url=url, headers=self.headers, callback=self.parse)
    54.    def parse(self, response):
    55. #下载
    56. #     filename = response.url.split("/")[-1]
    57. #     with open(filename, 'wb') as f:
    58. #        f.write(response.body)
    59. #获取数据
    60.       item = BfirepcItem()
    61.       a_space = response.xpath('//div[@class="tab_box"]/*/ul[@class="clearfix"]/li/a')
    62.       #print(a_space)
    63.       for a in a_space:
    64.          item['title'] = a.xpath('p/text()').extract()
    65.          item['link'] = a.xpath('img/@data-original').extract()
    66.          #print(item)
    67.          yield item
    71. 2.3、爬取
    72. 进入项目的根目录，执行下列命令启动spider:
    74. scrapy crawl dmoz
    78. 2.4 学习XPath
    80. XPath的基本语法：(更多可见：http://www.w3school.com.cn/xpath/)
    82. 首先XPath中的路径分为绝对路径与相对路径： 
    83. 绝对路径：用/，表示从根节点开始选取； 
    84. 相对路径：用//，表示选择任意位置的节点，而不考虑他们的位置； 
    85. 另外可以使用*通配符来表示未知的元素；除此之外还有两个选取节点的： 
    86. .：选取当前节点；..：当前节点的父节点；
    88. 接着就是选择分支进行定位了，比如存在多个元素，想唯一定位， 
    89. 可以使用[]中括号来选择分支，下标是从1开始算的哦！ 
    90. 比如可以有下面这些玩法：
    92. /tr/td[1]：取第一个td
    93. /tr/td[last()]：取最后一个td
    94. /tr/td[last()-1]：取倒数第二个td
    95. /tr/td[position()<3]：取第一个和第二个td
    96. /tr/td[@class]：选取拥有class属性的td
    97. /tr/td[@class='xxx']：选取拥有class属性为xxx的td
    98. /tr/td[count>10]：选取 price 元素的值大于10的td
    99. 3、
    101. 3.存储数据
    103. 得到我们的结果啦，最简单的存储数据的方式就是使用Feed exports， 
    104. 支持四种导出格式：JSON，JSON lines，XML和CSV 
    105. 使用也很简单，只是在平时执行scrapy脚本的后面加点东西：
    107. scrapy crawl spider名字 -o 导出文件名 -t 导出格式
    108. 1
    109. 比如我这里导出xml：
    111. scrapy crawl dmoz -o pics.xml -t xml
    113. 4、下载图片
    115. scrapy/bfirepc/bfirepc/settings.py
    117. 修改
    119. ITEM_PIPELINES = {
    120. #    'bfirepc.pipelines.BfirepcPipeline': 300,
    121.    'bfirepc.pipelines.BfirepcDownloadPipeline': 300,
    122. }
    124. IMAGES_STORE = 'F:\img'
    126. 修改
    127. scrapy/bfirepc/bfirepc/pipelines.py
    128. # -*- coding: utf-8 -*-
    130. # Define your item pipelines here
    131. #
    132. # Don't forget to add your pipeline to the ITEM_PIPELINES setting
    133. # See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
    134. from scrapy.pipelines.images import ImagesPipeline
    135. from scrapy.exceptions import DropItem
    136. from .items import BfirepcItem
    137. from scrapy import Request
    138. import hashlib
    139. import re
    141. class BfirepcPipeline(object):
    142.     def process_item(self, item, spider):
    143.         return item
    145. class BfirepcDownloadPipeline(ImagesPipeline):
    146.     headers = {
    147.       'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    148.         'accept-encoding': 'gzip, deflate',
    149.         'accept-language': 'zh-CN,zh;q=0.9,und;q=0.8,en;q=0.7',
    150.         'cookie': 'Hm_lvt_d82cde71b7abae5cbfcb8d13c78b854c=1523436855',
    151.         'referer': 'http://pic1.win4000.com/pic',
    152.         'User-Agent': 'User-Agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
    153.         'Host': 'pic1.win4000.com',
    154.     }
    155.     def get_media_requests(self, item, info):
    156.         for url in item['link']:
    157.             #print(url)
    158.             self.headers['referer'] = url
    159.             yield Request(url, headers=self.headers)
    161.     def item_completed(self, results, item, info):
    162.         img_paths = [x['path'] for ok, x in results if ok]
    163.         if not img_paths:
    164.             raise DropItem("item cont no img")
    165.         item['paths'] = img_paths
    166.         return  item