对于这种问题，如果只靠经验、程序的话，是很难去发现的，只有通过数据分析的力量解决才行。SEO以数据来指导，调整相应的策略 。后知在今晚听了分享之后，感触很大，自己确实还是一个很菜很菜的，需要不断的来学习和进步。张力控制器就是用实践里一个网站，而且有很 好的排名。

　　爬虫抓取你网站的量是 一定的，如果它在抓取很多没有用的页面的话，那么抓取有用的页面就会很少了，所以我们需要分析日志，分析爬虫抓取来进行调整。比如，夜息有一个 朋友做了一个网站，流量排名还比较不错;而用这套模板重新做了个网站 ，但是却发现网站收录都不怎么收录，于是查找日志，发现搜索引擎爬虫只抓取图片和CSS文件，而html页面根本都不爬取。然后用谷歌网站管理员工具测试，返回的是500，找到是空间配置的问题，阻止了爬虫网站，在更换了空间之后，问题就解决了，这个 就是查询日志的效果。
 
　　我们大部分的SEO是为了分析而分析，这样的话根本不知道分析出来后改做什么。我们要把数据分析的很细，这样的话从中找出问题的话，进行解决。尤其 是爬虫的数据，像抓取饱和度、抓取深度、常见入口页面、每天到访次数、停留时间等，这些开发爬虫的工程师都在关注，我们SEO又有何理由不关注呢?在搜索引擎爬虫单位时间内抓取量是一定的，这个量的 多少是由网站本身权重来决定的。网站权重高，抓取量就大，网站权重低抓取量就比较少。如果在一个权重比较低的网站，页面也比较多的话，搜索引擎爬虫也不敢确定你网页的质量，如果它拼命的爬取的话，就会出现抓取错误，抓不到更好的页面了。

　　另外就是夜息在途牛网的一个天气频道的 案例。

　　这个频道每天只有几百流量，并不是很好于是就查询了日志。发现这个频道每天蜘蛛抓取5000个页面，但是发现有3000个页面是404。于是便开始查看了网站这些URl，发现这些链接也 确实是404页面。原因是标准化的meta标签写错了，导致这么多404。改变之后，抓取正常流量也就上升至几千了。那么如果这个案例就这样结束的话，也没有什么意思。继续在分析天气频道，现在发现3000个404变为100 0个404。然后，就把这些url导出来，但是发现这些页面能够打开，而搜索引擎爬虫爬 的时候就是404。虽然很是没有头绪，但是归根到底还是需要分析日志。后来就拿所有的日志信息继续来分析，发现这些 404的 rl报错是很有规律的，都是在半夜1、2点时间内报错，但是服务器并没有关机啊什么的。而后就开始研究代码，很有可能是半夜程序、服务器啊什么报错。

　　大家都知道，预报天气的话不是预报出很长时间的，就是 预报一周的，所以每天需要生成今天之后的七天的天气页面的url，因为预报天气的 这些数据都 不是我们网站自己的，我们都是根据中国天气气象官网上采集下来的。我们每天发布天气信息的时间比生成预报天气的 这个链接要晚。也就是说，半夜我们可以查询七天后的天气，但是我们还没有更新，所以导致爬虫 出现404。之后，我们就修改后，就慢慢的不出现这种情况了。