由此可见，虽然理论上蜘蛛能爬行和抓取所有页面，但实际上不能、也不会这么做。SEO人员要想让自己的更多页面被收录，就要想方设法吸引蜘蛛抓取。既然不能抓取所有页面，蜘蛛所要做的就是尽量抓取重要页面。哪些页面被认为比较重要呢?有几方面影响因素。来自牧羊人深圳网站建设公司的小编分享：

　　网站和页面权重。质量高、资格老的网站被认为权重比较高，这种网站上的页面被爬行的深度也会比较高，所以会有更多内页被收录。

　　1.网站权重问题，权重越高的网站蜘蛛会爬取的更加深入，几乎每个页面都会爬取到，就会有更多的内页被收录。

　　2.网站的更新频率，蜘蛛会把每次爬取的网站存储起来，方便第二次爬取，如果第二次爬取到你优化的网站，发现页面有更新，蜘蛛就会爬取到你的新内容，如果之后每天更新，那么蜘蛛也会养成习惯，每天定时来爬取你的网站。

　　3.网站内容质量，质量高、可读性比较强的页面，搜索引擎抓取到就更容易收录，从而收录之后，给我们的页面权重也会有提高。下次也会继续来爬取我们的网站，因为搜索引擎就喜欢有价值的页面，可读性强的页面，语句符合逻辑的页面。

　　4.导入链接。无论是外部链接还是同一个网站的内部链接，要被蜘蛛抓取，就必须有导入链接进入页面，否则蜘蛛根本没有机会知道页面的存在。高质量的导入链接也经常使页面上的导出链接被爬行深度增加。

　　5.页面在首页有链接，一般来说我们在自己网站更新，更新的链接最好是要出现在首页，因为首页是权重最高的，蜘蛛访问最多，最频繁的也是我们的首页，如果首页有更新的链接，可以让蜘蛛更快更好的爬取到我们更新的页面，从而更好的收录我们的页面。

　　6.URL结构。页面权重是在收录并进行迭代计算后才知道的，那么前面说的页面权重高有利于被抓取，搜索引擎蜘蛛在抓取前怎么知道这个页面的权重呢?所以蜘蛛要进行预判，除了链接、与首页距离、历史数据等因素外，短的、层次浅的URL也可能被直观认为在网站上的权重相对较高.

阅读本文的人还阅读：SEO人员应该具备哪些素养