本节主要讲述搜索引擎的工作原理，通过对搜索引擎原理的了解，可以帮助我们解决很多问题和困惑。

为什么要了解搜索引擎原理

1.了解搜索引擎原理才能清晰地知道怎样优化网站

2.很多SEO技巧是基于对搜索引擎的理解，尽量减少搜索引擎的工作量、降低搜索引擎的工作难度，使搜引擎能更轻松、快速地收录网站页面，更准确地提取页面内容。

2.1 搜索引擎与目录

真正的搜索引擎指的是由蜘蛛程序沿着链接爬行和抓取网上的大量页面，存进数据库，经过预处理，用户在搜索框输入关键词后，搜索引擎排序程序从数据库中挑选出符合搜索关键词要求的页面。蜘蛛的爬行、页面的收录及排序都是自动处理。

网站目录则是一套人工编辑的分类目录，由编辑人员人工创建多个层次的分类，站长可以在不同分类里提交网站，目录编辑在后台审核所提交的网站，将网站放置于相应的分类页面。有的时候编辑也主动收录网站。典型的网站目录包括雅虎目录、开放目录、好123等。

2.2 搜索引擎面对的挑战

1.页面抓取需要快而全

搜索引擎就要抓取最新的页面。现在主流搜索引擎都已经能在几天之内更新重要页面，权重高的网站上的新文件几小时甚至几分钟之内就会被收录。不过，这种快速收录和更新也只能局限于高权重网站。很多页面几个月不被重新抓取和更新，也是非常常见的。

网站需要避免出现不利于搜索引擎蜘蛛爬行和抓取的因素，诸如网站链接结构的缺陷、大量使用Flash、JavaScript脚本，或者把内容放在用户必须登录以后才能访问

3．索引处理快速有效，具可扩展

仅仅抓取没有用，还必须进行大量索引计算。由于随时都有新数据、新页面加入，因此索引处理也要具备很好的扩展性。

4．查询处理快速准确

搜索引擎需要找到最合理、最相关的1000 个页面，并且按照相关性、权威性排列。

5．判断用户意图及人工智能

不同用户搜索相同的关键词，很可能是在寻找不同的东西。搜索引擎需要对用户习惯进行分析判断，判断搜索意图，以返回展现更相关的结果