思维导图

信息搜集之反爬虫、延时、代理池技术 - 图1

安全狗(safedog)

绕过:

①更改User-Agent字段的值(修改指纹),比如改成某个爬虫引擎
②代理池
③模拟用户
④延时
⑤对攻击语句进行编码变换等方式来绕过

阿里云WAF

特点(阿里云自带的防护只拦截速度异常的):

经测试发现主要是对请求速度进行检测然后实现封禁,即使更改伪装的爬虫引擎也没办法绕过

绕过(数据包要模拟用户的):

①代理池
②延时(一定注意要至少3秒)

宝塔WAF

特点:

购买付费的防火墙后,其中的防CC、防止恶意数据等设置都会进行防护…….

绕过(数据包模拟用户的):

①延时(一般2秒就够)
②代理池
③更改User-Agent为爬虫引擎
④当防止恶意数据时就需要注意,因为即使绕过防CC或者其他,但是如果测试如连续扫描网站目录是否存在bak等任意文件时的操作,那么宝塔的防火墙插件就会认为该流量是恶意数据,因此也会防护,因此尽量还是延时,或者也可以更改扫描字典、给扫描字段添加 . 、/ 、空格…..等等等