如何正确建立符合搜索抓取习惯的网站
1
、简单明了的网站结构
Spider
抓取相当于对
web
这个有向图进行遍历，那么一个简单明了结构层次分明的网站肯定是它所喜欢的，并尽量保证
spider
的可读性。
（
1
）树型结构最优的结构即“首页—频道—详情页”；
（
2
）扁平首页到详情页的层次尽量少，既对抓取友好又可以很好的传递权重。
（
3
）网状保证每个页面都至少有一个文本链接指向，可以使网站尽可能全面的被抓取收录，内链建设同样对排序能够产生积极作用。
（
4
）导航为每个页面加一个导航方便用户知晓所在路径。
（
5
）子域与目录的选择相信有大批的站长对此有疑问，在我们看来，当内容较少并且内容相关度较高时建议以目录形式来实现，有利于权重的继承与收敛；当内容量较多并且与主站相关度略差时建议再以子域的形式来实现。
2
、简洁美观的
url
规则
（
1
）唯一性网站中同一内容页只与唯一一个
url
相对应，过多形式的
url
将分散该页面的权重，并且目标
url
在系统中有被滤重的风险；
（
2
）简洁性动态参数尽量少，保证
url
尽量短；
（
3
）美观性使得用户及机器能够通过
url
即可判断出页面内容的主旨；
我们推荐如下形式的
url
：
url
尽量短且易读使得用户能够快速理解，例如使用拼音作为目录名称；同一内容在系统中只产生唯一的
url
与之对应，去掉无意义的参数；如果无法保证
url
的唯一性，尽量使不同形式的
url301
到目标
url
；防止用户输错的备用域名
301
至主域名。
3
、其他注意事项
（
1
）不要忽略倒霉的
robots
文件，默认情况下部分系统
robots
是封禁搜索引擎抓取的，当网站建立后及时查看并书写合适的
robots
文件，网站日常维护过程中也要注意定期检查；
（
2
）建立网站
sitemap
文件、死链文件，并及时通过百度站长平台进行提交；
（
3
）部分电商网站存在地域跳转问题，有货无货建议统一做成一个页面，在页面中标识有无货即可，不要此地区无货即返回一个无效页面，由于
spider
出口的有限性将造成正常页面无法收录。
（
4
）合理利用站长平台提供的
robots
、
sitemap
、索引量、抓取压力、死链提交、网站改版等工具。
全部回复（1 ）
只看楼主 我来说两句 抢板凳