Robots.txt协议告诉搜索引擎哪些页面可以抓取,哪些页面不可以抓取。如果设置错了参数,导致首页被屏蔽,也会造成首页不被收录。
解决方法:重新检查robots.txt,看看是不是写成了disallow/index.html*。
以某宝为例
QQ好友
QQ空间
新浪微博
人人网
豆瓣
账号登陆