学会分析网站日志,对于我们的优化工作来说是很重要的,之前在我的博客里面我也多次提到过,作为一名SEOer,你必须要学会分析网站日志。或许空有思想没有行动,没有办法让人理解,所以,我就打算以今天早上工作解析的日志来分享一下自己的收获吧。

下面这张图是我管理的一个优化站的网络日志。假如你还不知道怎么查看自己的网站日志,你可以到我的博客里面查看这篇《作为一名SEOer,你必须了解一些状态码》文章,里面会告诉大家怎么下载查看自己的网站日志。好了,不说废话,下面就以我管理的优化站来学着分析一下,存在哪些问题,和我们该怎么去优化。

网站日志

 

首先,很容易的看出都有哪些蜘蛛在抓取我的网站,抓取了多少次,抓取了多长时间,占比多少。但是从排名占比上看,我渴望的百度蜘蛛和搜狗蜘蛛并不是占据第一,第二。而是被一个国外的做数据收集的蜘蛛经常抓取,这肯定对我一点用也没有。再者,从时间上看,这个蜘蛛几乎一直在爬取我们的网站,对于这些搜索引擎并不会给我带来流量,而且还浪费了我大量的服务器的资源,我们就应该把他屏蔽掉(对于第7的俄罗斯蜘蛛,就看个人了)。

怎么屏蔽呢?

在robots.txt目录下添加下面的代码,添加之后在百度站长平台检测一下robots是否正确

User-agent: AhrefsBot

Disallow: /;

说实话,之前我一直好奇为什么我的网站在搜狗上没有排名,也正是因为这次分析以后,我才知道,原来搜狗的搜索引擎几乎不来爬取我的页面。那我该怎么办呢?当然是去搜狗站长平台去提交我的网站了,但是我之前看《SEO实战密码》里面看到,搜索引擎一般是不会喜欢抓取提交的网站的,它还是比较喜欢收录哪些自己爬取的页面,所以,最好的解决办法就是,不断的去发外链。

但是这里要提醒大家,发外链也是要有规律的,不要一天之内发太多,否则会被搜索引擎判断你是在作弊,这样对网站的友好度也会降低。