最近在学习爬虫时,对于无法爬取到京东的商品评论信息十分头疼,经过了长时间的奋斗之后,终于完成了攻略
下面是实验的代码
首先,必须设置headers,否则爬取的内容会是空白的
##爬取下来的内容必须确定其格式,json.loads()的使用十分严格,必须完全符合字典的格式标准,才能够将字符串转换为字典
##查看爬取的内容以后,发现首多了“fetchJSON_comment98vv14(”,尾部多了“)”;需要把这部分删除,才能够正常的使用json.loads()
##直接将url里的callback=fetchJSON_comment98vv7169&删除以后,就可以正常爬取了