首页

引导搜索引擎蜘蛛访问网站五技巧

蓝蓝

第一、常见蜘蛛:蜘蛛其实就是搜索引擎用来访问页面的程序,英文叫spider,也称为机器人,英文为bot。有时候查看IIS日志就能看到各种蜘蛛访问网页的情况,对网站的优化起到一定的指导作用。当蜘蛛访问一个网站时,会发出页面访问请求并返回HTTP状态码,然后蜘蛛会把这些状态码存入自己的数据库,为以后的各种计算做铺垫。常见的蜘蛛有百度蜘蛛(Baiduspider)、雅虎蜘蛛(Mozilla)、微软Bing蜘蛛(msnbot)、搜狗蜘蛛(Sogou+web+bot)、Google蜘蛛(Googlebot)等。一般情况下,IIS日志都会有显示,站长们应该多花点时间仔细看下蜘蛛对自己网站的访问情况,然后对自己网站做出调整。

第二、文件存储:文件存储是搜索引擎的一个技术关键所在,同时也是面临的一个挑战。当搜索引擎爬行和抓取完成后,会把这些数据存入原始页面数据库。在这个数据库存放的数据和用户在浏览器中看到的页面是完全一样的。每个URL都会有一个独特的编号。除此之外,还要存储各种计算权重所需要的数据,比如各种链接的关系,PR的迭代计算等。这些数据量是巨大的。很多网站不存在时,我们可以访问搜索引擎的快照页面,这些页面就是存在搜索引擎自己的数据库中,与站长网站本身的数据没有关系,是独立存在的。平时的快照更新、排名波动都和搜索引擎的文件存储有着直接的关系。

日历

链接

blogger

蓝蓝 http://www.lanlanwork.com

存档