原文： https://pythonspot.com/extract-links-from-webpage-beautifulsoup/

Web 抓取是从网站提取数据的技术。

模块BeautifulSoup设计用于网页抓取。BeautifulSoup模块可以处理 HTML 和 XML。 它提供了用于搜索，导航和修改分析树的简单方法。

从网站获取链接

下面的示例在网页上打印所有链接：

  2. from BeautifulSoup import BeautifulSoup
  3. import urllib2
  4. import re
  6. html_page = urllib2.urlopen("https://arstechnica.com")
  7. soup = BeautifulSoup(html_page)
  8. for link in soup.findAll('a', attrs={'href': re.compile("^http://")}):
  9.     print link.get('href')

它下载带有行的原始 html 代码：

  2. html_page = urllib2.urlopen("https://arstechnica.com")

创建了BeautifulSoup对象，我们使用该对象查找所有链接：

  2. soup = BeautifulSoup(html_page)
  3. for link in soup.findAll('a', attrs={'href': re.compile("^http://")}):
  4.     print link.get('href')

将网站链接提取到数组中

要将链接存储在数组中，可以使用：

  2. from BeautifulSoup import BeautifulSoup
  3. import urllib2
  4. import re
  6. html_page = urllib2.urlopen("https://arstechnica.com")
  7. soup = BeautifulSoup(html_page)
  8. links = []
  10. for link in soup.findAll('a', attrs={'href': re.compile("^http://")}):
  11.     links.append(link.get('href'))
  13. print(links)

从网页提取链接的函数

如果您反复提取链接，则可以使用以下函数：

  2. from BeautifulSoup import BeautifulSoup
  3. import urllib2
  4. import re
  6. def getLinks(url):
  7.     html_page = urllib2.urlopen(url)
  8.     soup = BeautifulSoup(html_page)
  9.     links = []
  11.     for link in soup.findAll('a', attrs={'href': re.compile("^http://")}):
  12.         links.append(link.get('href'))
  14.     return links
  16. print( getLinks("https://arstechnica.com") )