搜索引擎原理

从爬虫到倒排索引

搜索引擎的起点是网络爬虫（Spider/Crawler），持续抓取网页并发现新链接。Google 自称每天处理超过 300 亿个 URL。爬取的网页经过解析后，提取文字内容，建立倒排索引（Inverted Index）：这是一个词语到「包含该词语的文档列表」的映射，是全文检索的基础数据结构。

为了支持数千亿网页规模的索引，Google 开发了 Bigtable（分布式列式存储）和 MapReduce（并行计算框架），这两篇论文（2004-2006 年）直接催生了 Hadoop 和大数据生态。[1]

排序：从 PageRank 到神经网络

PageRank（1998）将网页间的链接视为「投票」，被权威网页链接的网页获得更高分数，这一算法让 Google 击败当时的 Yahoo 和 AltaVista。但链接信号容易被 SEO 操控，Google 后续引入了数百个额外信号：点击率、停留时长、移动端友好性、页面加载速度等。

2019 年 Google 将 BERT 引入搜索，让系统能理解查询中介词、代词的语义（如「巴西旅行者去美国需要签证」和「美国人去巴西需要签证」不再返回相同结果）。2023 年起，搜索结果页开始融入大语言模型生成的摘要（SGE/AI Overviews），改变了传统「十个蓝链接」的布局。