蜘蛛搜索引擎(Spider search)指的是以网络蜘蛛为基础的搜索引擎。蜘蛛搜索引擎工作时会自动抓取全网所有的网页,并把网页内容加以处理,在搜索用户需要查询的关键词时,快速找出网页中包含目标关键字的内容。如今,蜘蛛搜索引擎已经成为网络上最为主流、成熟的搜索技术,绝大多数的搜索引擎都采用了蜘蛛搜索的方式来搜集网页信息。
蜘蛛搜索引擎能够将所有能够被网页抓取到的信息大量积累,并且能够对这些数据进行加工整理,使得在用户查找需要的信息时,节省了用户手动查询的时间,也让海量数据变得容易获取。
但同时蜘蛛搜索引擎也存在某些缺点,例如蜘蛛搜索引擎不一定能够搜集到所有的网页,一些蜘蛛的工作效率甚至很低下,对于一些需要付费才可访问的网页或者隐藏内容的网页也许无法访问。此外,在关键词搜索的精准度上,也有蜘蛛搜索引擎比带有人工筛选的搜索引擎准确性差的情况。