初学nodejs的时候,通过nodejs开发的爬虫项目

    1.获取小说分类接口

    1. http://xsbe.hjply.com/novel/categories?source=001

    返回数据

    1. [
    2.   {
    3.     "category_name": "玄幻小说",
    4.     "category_url": "m.biquge5200.cc/sort-1-1/"
    5.   },
    6.   {
    7.     "category_name": "仙侠小说",
    8.     "category_url": "m.biquge5200.cc/sort-2-1/"
    9.   },
    10.   {
    11.     "category_name": "都市小说",
    12.     "category_url": "m.biquge5200.cc/sort-3-1/"
    13.   },
    14.   {
    15.     "category_name": "历史小说",
    16.     "category_url": "m.biquge5200.cc/sort-4-1/"
    17.   },
    18.   {
    19.     "category_name": "游戏小说",
    20.     "category_url": "m.biquge5200.cc/sort-5-1/"
    21.   },
    22.   {
    23.     "category_name": "科幻小说",
    24.     "category_url": "m.biquge5200.cc/sort-6-1/"
    25.   },
    26.   {
    27.     "category_name": "言情小说",
    28.     "category_url": "m.biquge5200.cc/sort-7-1/"
    29.   },
    30.   {
    31.     "category_name": "同人小说",
    32.     "category_url": "m.biquge5200.cc/sort-8-1/"
    33.   },
    34.   {
    35.     "category_name": "灵异小说",
    36.     "category_url": "m.biquge5200.cc/sort-9-1/"
    37.   },
    38.   {
    39.     "category_name": "奇幻小说",
    40.     "category_url": "m.biquge5200.cc/sort-10-1/"
    41.   },
    42.   {
    43.     "category_name": "竞技小说",
    44.     "category_url": "m.biquge5200.cc/sort-11-1/"
    45.   },
    46.   {
    47.     "category_name": "武侠小说",
    48.     "category_url": "m.biquge5200.cc/sort-12-1/"
    49.   },
    50.   {
    51.     "category_name": "军事小说",
    52.     "category_url": "m.biquge5200.cc/sort-13-1/"
    53.   },
    54.   {
    55.     "category_name": "校园小说",
    56.     "category_url": "m.biquge5200.cc/sort-14-1/"
    57.   },
    58.   {
    59.     "category_name": "官场小说",
    60.     "category_url": "m.biquge5200.cc/sort-15-1/"
    61.   }
    62. ]

    2.获取分类下的小说排行

    1. // http://xsbe.hjply.com/novel/lists?website=m.biquge5200.cc/sort-1-1/&source=001

    返回结果

    1. [
    2.   {
    3.     "book_name": "人道至尊",
    4.     "book_url": "m.biquge5200.cc/info-2379/",
    5.     "book_author": "宅猪",
    6.     "next_url": "m.biquge5200.cc/sort-1-2/",
    7.     "last_url": "m.biquge5200.cc/sort-1-100/"
    8.   },
    9.   {
    10.     "book_name": "圣墟",
    11.     "book_url": "m.biquge5200.cc/info-52542/",
    12.     "book_author": "辰东"
    13.   },
    14.   {
    15.     "book_name": "大主宰",
    16.     "book_url": "m.biquge5200.cc/info-7/",
    17.     "book_author": "天蚕土豆"
    18.   },
    19.   {
    20.     "book_name": "太古神王",
    21.     "book_url": "m.biquge5200.cc/info-2157/",
    22.     "book_author": "净无痕"
    23.   },
    24.   {
    25.     "book_name": "雪鹰领主",
    26.     "book_url": "m.biquge5200.cc/info-2598/",
    27.     "book_author": "我吃西红柿"
    28.   },
    29.   {
    30.     "book_name": "龙王传说",
    31.     "book_url": "m.biquge5200.cc/info-23934/",
    32.     "book_author": "唐家三少"
    33.   },
    34.   {
    35.     "book_name": "武炼巅峰",
    36.     "book_url": "m.biquge5200.cc/info-111/",
    37.     "book_author": "莫默"
    38.   },
    39.   {
    40.     "book_name": "择天记",
    41.     "book_url": "m.biquge5200.cc/info-584/",
    42.     "book_author": "猫腻"
    43.   },
    44.   {
    45.     "book_name": "全职法师",
    46.     "book_url": "m.biquge5200.cc/info-2599/",
    47.     "book_author": "乱(书坊)"
    48.   },
    49.   {
    50.     "book_name": "完美世界",
    51.     "book_url": "m.biquge5200.cc/info-9/",
    52.     "book_author": "辰东"
    53.   },
    54.   {
    55.     "book_name": "修罗武神",
    56.     "book_url": "m.biquge5200.cc/info-1003/",
    57.     "book_author": "善良的蜜蜂"
    58.   },
    59.   {
    60.     "book_name": "元尊",
    61.     "book_url": "m.biquge5200.cc/info-79883/",
    62.     "book_author": "天蚕土豆"
    63.   },
    64.   {
    65.     "book_name": "儒道至圣",
    66.     "book_url": "m.biquge5200.cc/info-49/",
    67.     "book_author": "永恒之火"
    68.   },
    69.   {
    70.     "book_name": "超级神基因",
    71.     "book_url": "m.biquge5200.cc/info-53897/",
    72.     "book_author": "十二翼黑暗炽天使"
    73.   },
    74.   {
    75.     "book_name": "真武世界",
    76.     "book_url": "m.biquge5200.cc/info-5405/",
    77.     "book_author": "蚕茧里的牛"
    78.   },
    79.   {
    80.     "book_name": "帝霸",
    81.     "book_url": "m.biquge5200.cc/info-916/",
    82.     "book_author": "厌笔萧生"
    83.   },
    84.   {
    85.     "book_name": "我是至尊",
    86.     "book_url": "m.biquge5200.cc/info-75597/",
    87.     "book_author": "风凌天下"
    88.   },
    89.   {
    90.     "book_name": "牧神记",
    91.     "book_url": "m.biquge5200.cc/info-76490/",
    92.     "book_author": "宅猪"
    93.   },
    94.   {
    95.     "book_name": "五行天",
    96.     "book_url": "m.biquge5200.cc/info-5864/",
    97.     "book_author": "方想"
    98.   },
    99.   {
    100.     "book_name": "天道图书馆",
    101.     "book_url": "m.biquge5200.cc/info-52787/",
    102.     "book_author": "横扫天涯"
    103.   }
    104. ]

    3.获取小说详情

    1. http://xsbe.hjply.com/novel/detail?website=m.biquge5200.cc/info-2379/&source=001

    返回结果:

    1. {
    2.   "book_description": "　　自盘古开天，三皇治世，五帝定伦，世界之间，人为天地灵长……此时正值三皇中的人皇末期，五帝未定，人族也不是天地灵长。这里是莽苍荒蛮的时代，妖神、邪神、天神，诸神林立，妖魔、邪魔、天魔，群魔乱舞；万族并存，野蛮生长，统治天下，而人皇已老，人族弱小，被当成祭牲和食粮……这不是洪荒，而是狂野奔放的蛮荒！回归中国古典神话，书写人族逆袭的蛮荒传奇，敬请阅读《人道至尊》！",
    3.   "get_chapters_url": "m.biquge5200.cc/wapbook-2379/"
    4. }

    4.获取小说目录

    1. http://xsbe.hjply.com/novel/chapters?website=m.biquge5200.cc/wapbook-2379/&source=001

    返回结果:

    1. [
    2.   {
    3.     "chapter_name": "震惊！让男人沉默女人流泪的真相，不可不看！（其实是完本感言）",
    4.     "get_chapterDetail_url": "m.biquge5200.cc/wapbook-2379-143225101/",
    5.     "next_url": "m.biquge5200.cc/wapbook-2379_2_1/",
    6.     "last_url": "m.biquge5200.cc/wapbook-2379_80_1/"
    7.   },
    8.   {
    9.     "chapter_name": "第1491章 祖星的风",
    10.     "get_chapterDetail_url": "m.biquge5200.cc/wapbook-2379-143224833/"
    11.   },
    12.   {
    13.     "chapter_name": "第1490章 地球",
    14.     "get_chapterDetail_url": "m.biquge5200.cc/wapbook-2379-143206422/"
    15.   },
    16.   {
    17.     "chapter_name": "第1489 泰皇退位",
    18.     "get_chapterDetail_url": "m.biquge5200.cc/wapbook-2379-143205934/"
    19.   },
    20.   {
    21.     "chapter_name": "第1488 大时空轮回",
    22.     "get_chapterDetail_url": "m.biquge5200.cc/wapbook-2379-143190745/"
    23.   },
    24.   {
    25.     "chapter_name": "第1487章 无敌",
    26.     "get_chapterDetail_url": "m.biquge5200.cc/wapbook-2379-143190068/"
    27.   },
    28.   {
    29.     "chapter_name": "第1486章 觉悟",
    30.     "get_chapterDetail_url": "m.biquge5200.cc/wapbook-2379-143173502/"
    31.   },
    32.   {
    33.     "chapter_name": "第1485章 聚齐灵根",
    34.     "get_chapterDetail_url": "m.biquge5200.cc/wapbook-2379-143173059/"
    35.   },
    36.   {
    37.     "chapter_name": "第1484章 众叛亲离",
    38.     "get_chapterDetail_url": "m.biquge5200.cc/wapbook-2379-143157825/"
    39.   },
    40.   {
    41.     "chapter_name": "第1483章 送别薪火",
    42.     "get_chapterDetail_url": "m.biquge5200.cc/wapbook-2379-143157345/"
    43.   },
    44.   {
    45.     "chapter_name": "第1482章 两世为人",
    46.     "get_chapterDetail_url": "m.biquge5200.cc/wapbook-2379-143138587/"
    47.   },
    48.   {
    49.     "chapter_name": "第1481章 方知我是我",
    50.     "get_chapterDetail_url": "m.biquge5200.cc/wapbook-2379-143138010/"
    51.   },
    52.   {
    53.     "chapter_name": "第1480章 天殒",
    54.     "get_chapterDetail_url": "m.biquge5200.cc/wapbook-2379-142882647/"
    55.   },
    56.   {
    57.     "chapter_name": "第1479章 跳出轮回",
    58.     "get_chapterDetail_url": "m.biquge5200.cc/wapbook-2379-141369727/"
    59.   },
    60.   {
    61.     "chapter_name": "第1478章 轮回起源",
    62.     "get_chapterDetail_url": "m.biquge5200.cc/wapbook-2379-141328946/"
    63.   },
    64.   {
    65.     "chapter_name": "第1477章 打破轮回",
    66.     "get_chapterDetail_url": "m.biquge5200.cc/wapbook-2379-140695744/"
    67.   },
    68.   {
    69.     "chapter_name": "第1476章 泰皇出关",
    70.     "get_chapterDetail_url": "m.biquge5200.cc/wapbook-2379-140695248/"
    71.   },
    72.   {
    73.     "chapter_name": "第1475章 授权",
    74.     "get_chapterDetail_url": "m.biquge5200.cc/wapbook-2379-140679032/"
    75.   },
    76.   {
    77.     "chapter_name": "第1474章 兄弟狭路逢",
    78.     "get_chapterDetail_url": "m.biquge5200.cc/wapbook-2379-140678506/"
    79.   },
    80.   {
    81.     "chapter_name": "第1473章 铡刀斩群雄",
    82.     "get_chapterDetail_url": "m.biquge5200.cc/wapbook-2379-140663218/"
    83.   }
    84. ]

    5.获取小说正文

    1. http://xsbe.hjply.com/novel/chapterDetail?website=m.biquge5200.cc/wapbook-2379-143225101/&source=001

    返回结果:

    1. {
    2.   "chapter_name": "震惊！让男人沉默女人流泪的真相，不可不看！（其实是完本感言）",
    3.   "chapter_content": "<p>　　人道至尊，大风卷结束了，人道至尊也完本了。</p>\n<p>　　打出这一行字，突然有一种伤感的感觉，不是伤感于结束，而是钟岳时代的逝去。因为人道至尊结束，网站中有万千本书，每时每刻都会有新书诞生，钟岳的故事终究会被埋没在芸芸众书之中，被阅读过的读者和尚未阅读的读者忘却。</p>\n<p>　　但是作为作者，却不希望自己的汗水被忘却，每个作者都想要被记住，被读者记住自己的名字，记住自己的作品。</p>\n<p>　　人道至尊的结局，宅猪没有写道界之战，许多人物也没有给出结局。</p>\n<p>　　对于钟岳的道界之战，是写还是不写，宅猪也有过犹豫迟疑，写成喜剧，写成悲剧，都不是钟岳想要的，他想要的已经实现了，他背负的也已经实现了。</p>\n<p>　　钟岳的人生，已经圆满了，他得到了自己想要得到的，无论他活着还是死了，都是心满意足。</p>\n<p>　　所以，宅猪索性留下点念想。</p>\n<p>　　完本了。</p>\n<p>　　这本书是关于英雄为种族奋斗的传记，其实人道至尊并不那么爽，按照当今的爽文写法，许多情节都是要被毙掉的。</p>\n<p>　　但是单纯的爽，写不出一个英雄的一生，宅猪还是犯忌了，犯了作为网络作者的大忌。不过我想，读者的水平应该在不断提高的，或许有可能接受部分不爽的文章，于是就这么写了。</p>\n<p>　　好在，诸位都很支持，让宅猪得以谋生，得以养家糊口。</p>\n<p>　　谢谢大家！</p>\n<p>　　每个读者，都是我的衣食父母，写作对我是爱好也是谋生的手段，我赚着你们的钱，自然也要兢兢业业，不敢懈怠，好在这些年一直努力不断更，不少更，渐渐积累了一些读者。</p>\n<p>　　这本《人道至尊》，有着很多盟主打赏，至今宅猪应该还欠下盟主们二十五章的样子，怎奈作品后期太耗费大脑，无法爆发。</p>\n<p>　　而现在已经完本了，爆发更是没有了可能。</p>\n<p>　　下本书吧。</p>\n<p>　　下本书爆发，报答盟主们的厚爱。</p>\n<p>　　人道至尊结束后，宅猪会休息三个月时间，戒烟，锻炼身体，要二胎，经常坐在电脑前码字。这几年宅猪几乎要男性不育了，再迟一两年估计真的生不了二胎了。做一个网络作家，真的很伤身体，用身体和命换钱这句话并不为过。</p>\n<p>　　宅猪的公众微信号，zhaizhu00，打开微信，点击搜索，在搜索框输入zhaizhu00，查找公众微信号，就可以关注宅猪。</p>\n<p>　　休息这段时间，宅猪会向大家征集下本书的创意，如果采纳的话，有红包和人民币奖励。</p>\n<p>　　有时间的话，宅猪也会写人道至尊的番外，到时会发起投票，看看大家想看人道至尊中哪个人物的番外。</p>\n<p>　　新书的开篇，宅猪也会放在公众微信号上请大家试阅尝鲜，新书发布的准确日期，也会在公众微信号上提前告知。</p>\n<p>　　还请大家关注我。</p>\n<p>　　就这样吧，三个月后，我们不见不散！</p>",
    4.   "get_chapters_url": "m.biquge5200.cc/wapbook-2379/",
    5.   "prev_url": "m.biquge5200.cc/wapbook-2379-143224833/",
    6.   "next_url": "m.biquge5200.cc/wapbook-2379/"
    7. }

    6.搜索小说

    1. http://xsbe.hjply.com/novel/search?keyword=%E5%9C%A3%E5%A2%9F&source=001

    返回结果:

    1. [
    2.   {
    3.     "book_name": "圣墟",
    4.     "book_url": "m.biquge5200.cc/info-52542/",
    5.     "book_author": "辰东"
    6.   },
    7.   {
    8.     "book_name": "太古圣墟",
    9.     "book_url": "m.biquge5200.cc/info-77328/",
    10.     "book_author": "春上三更"
    11.   },
    12.   {
    13.     "book_name": "魔法圣墟",
    14.     "book_url": "m.biquge5200.cc/info-77835/",
    15.     "book_author": "凌逐"
    16.   },
    17.   {
    18.     "book_name": "圣墟天意",
    19.     "book_url": "m.biquge5200.cc/info-84517/",
    20.     "book_author": "微蒂"
    21.   },
    22.   {
    23.     "book_name": "圣墟之逍遥",
    24.     "book_url": "m.biquge5200.cc/info-92809/",
    25.     "book_author": "仰望星空的龙"
    26.   },
    27.   {
    28.     "book_name": "紫墟圣域",
    29.     "book_url": "m.biquge5200.cc/info-97364/",
    30.     "book_author": "红叶1212"
    31.   },
    32.   {
    33.     "book_name": "圣墟封神装逼系统",
    34.     "book_url": "m.biquge5200.cc/info-53409/",
    35.     "book_author": "风十三郎A"
    36.   }
    37. ]