最近在学习爬虫时,对于无法爬取到京东的商品评论信息十分头疼,经过了长时间的奋斗之后,终于完成了攻略

下面是实验的代码

首先,必须设置headers,否则爬取的内容会是空白的

京东爬虫攻略.md - 图1
##爬取下来的内容必须确定其格式,json.loads()的使用十分严格,必须完全符合字典的格式标准,才能够将字符串转换为字典
京东爬虫攻略.md - 图2
京东爬虫攻略.md - 图3
##查看爬取的内容以后,发现首多了“fetchJSON_comment98vv14(”,尾部多了“)”;需要把这部分删除,才能够正常的使用json.loads()
京东爬虫攻略.md - 图4
京东爬虫攻略.md - 图5
##直接将url里的callback=fetchJSON_comment98vv7169&删除以后,就可以正常爬取了
京东爬虫攻略.md - 图6

在这里感谢14组开发黄宇航提的宝贵意见,谢谢!!!

从中我知道了,如果有不会或者搞不懂的内容,可以先尝试跳过,看看8哥后面的课程,再回头来解决这个问题

如有可以改进的部分,希望大家能够多多指教,我是新手,才刚上路

京东爬虫攻略.md - 图7