网络爬虫

与爬虫相关的节点。

Bilibili爬虫

爬虫 - 图1

Bilibili爬虫，可抓取视频标题及字幕。 注意：如果是无外挂字幕的视频，则字幕输出为空。

参数详解

1. 视频网址或BVID

要抓取的视频网址或BVID。 支持列表输入

2. 下载视频

是否需要下载视频。如果勾选则会下载视频并在输出中返回视频文件路径。 但注意下载需要一定的时间，会使工作流运行时间变长。

3. 输出类型

  • 文本 - 把字幕合并为一个完整的字符串文本，一行一条字幕。
  • 列表 - 每条字幕为一个列表元素。

输出类型

  • 标题
    • <font style="color:rgb(31, 35, 40);">字符串</font>
  • 字幕
    • <font style="color:rgb(31, 35, 40);">字符串</font> | <font style="color:rgb(31, 35, 40);">列表</font>
  • 视频
    • <font style="color:rgb(31, 35, 40);">字符串</font>

积分消耗

每次抓取消耗1积分。如果下载视频则额外消耗1积分。

文本爬虫

爬虫 - 图2

文本爬虫，可抓取网页正文内容。 注意：目前由于各个网站存在不同的反爬虫机制，本节点有可能无法抓取到正文内容。如果有需要增加的网站可以联系我们，我们会尝试手动调整爬虫代码。

参数详解

1. 网址

支持列表输入 要抓取的网址。

2. 输出类型

  • 文本 - 文本类型输出正文。 - 正文的输出是Markdown格式。

输出类型

  • 网页标题
    • <font style="color:rgb(31, 35, 40);">字符串</font> | <font style="color:rgb(31, 35, 40);">列表</font>
  • 网页正文文本
    • <font style="color:rgb(31, 35, 40);">字符串</font> | <font style="color:rgb(31, 35, 40);">列表</font>

积分消耗

每次抓取消耗1积分。

Youtube爬虫

爬虫 - 图3

Youtube爬虫，可抓取视频标题及字幕。 注意：请务必确保视频有字幕，如果视频无字幕，节点运行后会报错。

参数详解

1. 视频网址或视频ID

要抓取的视频网址或视频ID。 支持列表输入

2. 输出类型

  • 文本 - 把字幕合并为一个完整的字符串文本，一行一条字幕。
  • 列表 - 每条字幕为一个列表元素。

输出类型

  • 标题
    • <font style="color:rgb(31, 35, 40);">字符串</font>
  • 字幕
    • <font style="color:rgb(31, 35, 40);">字符串</font> | <font style="color:rgb(31, 35, 40);">列表</font>

积分消耗

每次抓取消耗1积分。