搜索引擎机器人(也称蜘蛛) 搜索引擎机器人也称网络蜘蛛（Web Spider)，这是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其他链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网页都抓取完为止。如果把整个互联网当做一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。

搜索引擎抓取相关网页时的主要参数依据如下:

A.相关性

相关性是搜索引擎抓取网页时的首先参数,相关性保证了搜索引擎抓取的网页是搜索者所要查找的信息

B.浏览量

网站以众参数综合值决定排名先后,”七匹狼”除了以“相关性”靠前之外，主要以其“浏览量”取得靠前的优势．

除了各种竞价广告方式能增加网站浏览量之外.网站为了取得高浏览量还有很多做法:
电子邮件推广方法 ：群发邮件，签名档嵌入公司网址，增加点击率。
合作链接推广方法 ：网站与网站之间做的相互跳转的链接。
信息发布推广方法 ：在一些公开性的平台或论坛发布自己的公司网址。
附加功能推广方法 ：网站上附带的天气预报功能，火车票查询功能等
病毒式推广方法 ：虚假信息发布，比如点击查看美女********等

C.更新频率

更新频率决定了网站信息的新旧程度,常见的以更新频率取胜的网站多是论坛,博客类网站,各大网站的专业频道也都是以更新频率取胜的典型. 

D.超链接

超链接是指网页上的相关内容被其他平台所复制或引用,超链接次数越多越能体现此网页的价值.被引用或复制的次数体现了浏览者对此内容的兴趣度,正是这个因素决定了超链接次数越多的网页越会靠前出现,这是搜索引擎基本功能的体现,也是搜索引擎吸引忠实用户的基本手段.