网络爬虫（Web Crawler）

网络爬虫（Web Crawler）是一种按照一定规则自动浏览万维网、抓取网页内容的程序，也常被称为网络蜘蛛（Spider）或网络机器人（Bot），最典型的用途是为搜索引擎编纂网页索引。

概述

互联网上的网页数量极其庞大且不断变化，靠人工根本无法逐一收集整理。网络爬虫的工作方式是：从一批起始网址出发，下载网页内容，从中提取出新的链接，再顺着这些链接继续访问下一批页面，如此循环往复，像蜘蛛沿着网爬行一样遍历整个网络，因此得名「蜘蛛」。

搜索引擎是爬虫最重要的应用场景。谷歌的 Googlebot、百度的 Baiduspider 等都会持续抓取全网页面，把内容存入索引库，用户搜索时才能在瞬间返回结果。除此之外，爬虫还被广泛用于数据分析、舆情监测、比价系统、学术研究，近年来大模型厂商也大量使用爬虫收集训练语料。

主要特点

• 自动化：无需人工干预即可持续抓取和更新页面。
• 链接遍历：通过解析页面中的超链接不断发现新网址，常见策略有广度优先和深度优先。
• 去重与调度：需要记录已抓取的网址，合理安排抓取频率，避免重复和遗漏。
• 遵守协议：规范的爬虫会读取网站根目录下的 robots.txt 文件，尊重站长设定的抓取规则。

爬虫与反爬虫

并非所有网站都欢迎爬虫。过于频繁的抓取会消耗服务器带宽和资源，恶意爬虫还可能窃取数据、抓取受版权保护的内容。为此，网站常用验证码、IP 频率限制、登录墙、行为分析等手段进行「反爬」。开发者编写爬虫时应控制抓取速度、遵守 robots 协议和相关法律法规，未经授权抓取个人信息或付费内容可能承担法律责任。

常见问题

问：网络爬虫和搜索引擎是什么关系？答：爬虫是搜索引擎的「采集员」，负责把全网页面抓回来建立索引；搜索引擎再基于索引对用户的搜索词进行匹配和排序。没有爬虫就没有搜索结果。

问：自己写爬虫违法吗？答：技术本身中立，抓取公开信息用于学习研究一般没有问题；但绕过技术防护措施、抓取个人隐私或受保护的数据、对网站造成严重负担，则可能违法违规，务必注意边界。

问：网站如何控制爬虫的抓取行为？答：可以在站点根目录放置 robots.txt 声明允许或禁止抓取的路径，配合 meta 标签、访问频率限制和防火墙规则，引导正规爬虫、拦截恶意爬虫。