学期：2021-2022学年第一学期

    学 院 大数据与智能工程学院 年 级、 专 业、 班 18级数据科学与大数据技术（专升本）一班 姓 名
    		学号
    实验项目 名称 中国水稻数据中心地区水稻品种数据获取

    实验学时： 3h 同组学生姓名： 王美琴、尤博欣、周青青、李昕辰 实验地点： 9317
    实验日期： 实验成绩： 批改教师： 批改时间：
    指导教师评阅：

    1. 实验目的：编写程序，实现水稻数据中心地区水稻品种数据获取
    2. 实验原理：requests请求、BeautifulSoup库
    3. 实验环境 ：win10、python3.9、vscode、edge
    4. 实验步骤：
      1. Requests网页请求，获取网页源代码
      2. 使用bs4语法解析网页数据
      3. 返回的水稻品种数据保存为json文件

    核心代码：

    1. import urllib.request
    2. from bs4 import BeautifulSoup
    3. from lxml import etree
    5. #查找指定字符下标并返回
    6. def findSubStrIndex(substr, str, time):
    7.     times = str.count(substr)
    8.     if (times == 0) or (times < time):
    9.         pass
    10.     else:
    11.         i = 0
    12.         index = -1
    13.         while i < time:
    14.             index = str.find(substr, index+1)
    15.             i+=1
    16.         return index
    18. def find_form(dress):
    19.     response = urllib.request.urlopen(dress)
    20.     data = response.read()
    21.     soup = BeautifulSoup(data, "lxml")
    22.     tag_table_s = soup.find_all("table")
    23.     #Tbody无法被系统识别！！！！！！！！！！！！！！！！！
    24.     #tag_tbody_s = tag_table_s[1].find_all("tbody")
    25.     tag_tr_s = tag_table_s[1].find_all("tr")
    27.     for tag_tr in tag_tr_s:
    28.         content = []
    29.         tag_td_s = tag_tr.find_all("td")
    30.         for tag_td in tag_td_s:
    31.             content.append(tag_td.text.strip())
    32.         contents.append(content)
    33.         print(content)
    35. dress = 'https://www.ricedata.cn/variety/index.htm'
    36. response = urllib.request.urlopen(dress)
    37. data = response.read()
    38. soup = BeautifulSoup(data, "lxml")
    39. tag = soup.find("div", attrs={"style": "padding: 0 10px 0 10px; text-align:justify;text-justify:distribute-all-lines;text-align-last:justify; font-size:10pt; line-height:25px; font-weight:bold"})
    40. tag_a_s = tag.find_all("a")
    41. contents = [[]]
    42. for tag_a in tag_a_s:
    43.     try:
    44.         d = tag_a["href"]
    45.     except KeyError:
    46.         print("没有href！！！")
    47.     dress_1=dress[:-9]+d
    48.     #分页操作
    49.     response = urllib.request.urlopen(dress_1)
    50.     data = response.read()
    51.     soup = BeautifulSoup(data, "lxml")
    52.     try:
    53.         tag_a_paper = soup.find("a",attrs={"title":"跳至末页"})
    54.         paper = tag_a_paper["href"]
    55.         number = "".join(list(filter(str.isdigit, paper)))
    56.         for i in range(1,int(number)+1):
    57.             xb = findSubStrIndex("_", dress_1, 1)
    58.             dress_4 = dress_1[:xb+1]+str(i)+".htm"
    59.             #爬取页面函数
    60.             print(dress_4)
    61.             find_form(dress_4)
    62.     except TypeError:
    63.         tag = soup.find("caption")
    64.         tag_a_s = tag.find_all("a")
    65.         for tag_a in tag_a_s:
    66.             dress_3 = tag_a["href"]
    67.             xb = findSubStrIndex("/", dress_1, 5)
    68.             dress_3 = dress_1[:xb+1]+dress_3
    69.             # 爬取页面函数
    70.             print(dress_3)
    71.             find_form(dress_3)
    73. fo = open("B.txt","w")
    74. for content in contents:
    75.     for i in content:
    76.         fo.write(i+"   ")
    77.     fo.write("\r")
    78. fo.close()
    1. 实验结果及分析：

    通过requests库,并添加网页请求头，使用代理IP，请求网页url，得到网页数据源代码，并通过BeautifulSoup库使用bs4语法，进行数据整理提取，最后存入json文件。

    1. 实验总结：

    在进行网页爬取时，网站会存在一些反爬机制，如：是否添加请求头、IP访问是否超出网站限制等，在进行网站爬取时，需要注意网站的反爬机制，并使用相对应的反反爬，最终得到数据。