功能描述

image.png

分析URL

在淘宝页面的搜索栏中，键入关键字，获取相关的URL并进行分析
image.png
image.png

查看robots.txt

image.png
虽然对所有的user-agent限制根目录下的信息，即网站的所有信息都不能爬取，但我们模仿的是人类的访问，不是多次骚扰性质的访问，所以还是可以继续的

程序设计

  1. import requests
  2. import re
  4. def getHTMLText(url):
  5.     try:
  6.         r = requests.get(url, timeout=30)
  7.         r.raise_for_status()
  8.         r.encoding = r.apparent_encoding
  9.         return r.text
  10.     except:
  11.         return ""
  13. def parsePage(ilt, html):
  14.     try:
  15.         plt = re.findall(r'\"view_price\"\:\"[\d\.] *\"', html)
  16.         tlt = re.findall(r'\"raw_title\"\:\".*?\"', html)
  17.         for i in range(len(plt)):
  18.             price = eval(plt[i].split(':')[1])
  19.             title = eval(tlt[i].split(':')[1])
  20.             ilt.append([price, title])
  21.     except:
  22.         print("")
  24. def printGoodsList(ilt):
  25.     tplt = "{:4}\t{:8}\t{:16}"
  26.     print(tplt.format("序号", "价格", "商品名称"))
  27.     count = 0
  28.     for g in ilt:
  29.         count += 1
  30.         print(tplt.format(count, g[0], g[1]))
  31.     print("")
  33. def main():
  34.     goods = '书包'
  35.     depth = 2  # 爬取的深度，即页数
  36.     start_url = 'https://s.taobao.com//search?q=' + goods
  37.     info_list = []
  38.     for i in range(depth):
  39.         try:
  40.             url = start_url + '&s=' + str(44*i)
  41.             html = getHTMLText(url)
  42.             parsePage(info_list, html)
  43.         except:
  44.             continue
  45.         printGoodsList(info_list)
  47. if __name__ == '_main__':
  48.     main()

parsePage()函数的一般设计方法

在页面中查看源代码，对于商品所要的特征值进行提取，在源代码中的页面进行搜索，在这个例子中我们选择的是价格
image.png
所以我们可以在网页源码中搜索‘129.00’，得到如下结果
image.png
我们发现，价格对应的标签名字叫做“view_price”
用同样的方法对商品名进行搜索，得到商品名对应的标签名叫“raw_title”image.png

为什么不使用bs4库

我们看到我们需要的信息是以json格式进行组织的，而不是像前面是在HTML标签中进行结构化组织的。而对于这种字符串的匹配，我们使用正则表达式进行匹配，也是很合适的

BUT

现在淘宝需要登陆才能查看页面信息，所以，程序还是有待提升