搜索引擎的实现原理，可以看作四步：从互联网上抓取网页→建立索引数据库→在索引数据库中搜索→对搜索结果进行处理和排序。

    image.png
    1、从互联网上抓取网页
    利用能够从互联网上自动收集网页的网络蜘蛛程序，自动访问互联网，并沿着任何网页中的所有URL爬到其它网页，重复这过程，并把爬过的所有网页收集到服务器中。
    2、建立索引数据库
    由索引系统程序对收集回来的网页进行分析，提取相关网页信息(包括网页所在URL、编码类型、页面内容包含的关键词、关键词位置、生成时间、大小、与其它网页的链接关系等)，根据一定的相关度算法进行大量复杂计算，得到每一个网页针对页面内容中及超链中每一个关键词的相关度(或重要性)，然后用这些相关信息建立网页索引数据库。
    3、在索引数据库中搜索
    当用户输入关键词搜索后，分解搜索请求，由搜索系统程序从网页索引数据库中找到符合该关键词的所有相关网页。
    4、对搜索结果进行处理排序
    所有相关网页针对该关键词的相关信息在索引库中都有记录，只需综合相关信息和网页级别形成相关度数值，然后进行排序，相关度越高，排名越靠前。最后由页面生成系统将搜索结果的链接地址和页面内容摘要等内容组织起来返回给用户。

    根据搜索引擎的工作原理。我们在相应的时间做对应的动作。可以提升相对搜索效率。

    抓取阶段
    url正常，无死链，url主动推送，抓取频率，更新频率，服务器状态

    索引阶段
    索引阶段会对抓取内容进行分级，大致分为优秀，一般，低质。
    这里引入百度优化白皮书的一个概念，“为用户提供最有价值的信息”
    排序阶段