搜索引擎机器人 (robots), 或者说是爬行程序(crawlers)、蜘蛛程序(spiders)。

搜索引擎分类目录 (directories)

　　理解这两种搜索引擎的区别可以帮助您理解如何优化网站，提高在搜索引擎中的排名。 更多知识请阅读 最佳搜索引擎 ，这些搜索引擎可以有效地帮助您进行网站推广。

搜索引擎机器人 (robots)
　　机器人 (robots)事实上是一个精心设计的网站爬行程序，依照网站的连接从一个网站游历到另一个网站。根据这种自动化程序，基于预先设计好的网站排名标准及算法，对网站进行评估排名。虽然每个搜索引擎各有各的标准及算法，然而他们对搜索结果判定网站排名上也具有很多相似的地方。
　　一个搜索引擎机器人会先爬行一个网站，检索在它看来是重要的页面部件，这些检索的数据随后被分析，并赋予指定关键字在搜索结果中的排名。每个搜索引擎算法被设计成足以判断相应关键字和相关页面的相关程度。

机器人检索页面的区域：

　　搜索引擎还将测算关键字密度和出现频率。每个搜索引擎在处理关键字上有所差异，但通常需要一定时间抓取网站页面内容，决定最有效利用关键字的页面获得最高或较高的排名。
通过 Inktomi 这个优秀的搜索引擎，您可以去体验这种情况，因为 Inktomi 每 48 小时爬行一次您的网站。您可以清楚地看到您对网站优化或不优化的不同效果。
　　值得一提的是，搜索引擎算法是高度保密的，没有人能真正全部掌握它用来排名的算法，除了搜索引擎本身的开发商。网站的排名会随搜索引擎排名算法的改变或关键字竞争的实际情况而改变。

搜索引擎分类目录 (Directories)
　　 搜索引擎分类目录是由人工预审后被编入的网站列表。较为主要的搜索引擎分类目录有 Yahoo, LookSmart, Open Source Directory 等，您付款后也未必真能被收录至它们的分类目录中。分类目录会因为您网站导航不明确、网站设计印象不佳、死链接、网站是否正常运转、文法错误、文字不流畅、没有联系电话、没有商业地址、多次重复提交某目录等原因拒绝您的网站收录。在提交网站前反复审视您的网站，确保网站在正常工作后方可提交。事实上，在您没有做好充分准备前提交您的网站对搜索引擎目录收录是非常不明智的。就算您进入了搜索引擎的目录中，对您网站的排名也会有很大的影响。
　　搜索引擎机器人程序会基于很多标准，如关键字的相关性、出现的频率等，来决定您网站的排名，它还将查看您网站的标题及描述和网站所在目录的相关性来决定网站排名。在某些情况下，外部连接的数量及质量也会在排名中体现出来。有些分类目录也会跟踪访问者点击搜索结果中链接后停留在网站上的时间来作为衡量网站排名的一个因素。
　　有一点必须注意，分类目录的编辑人员有权改变您事先定义好的网站标题及描述 。