默认robots 应该怎么写呢
rboots 检测,下面两个结果哪个是正确的? 默认robots 应该怎么写呢?
下面是chinaz检测结果:
序号 规则 解释
1 User-agent: * 开始配置:所有搜索引擎
2 Disallow: 禁止所有搜索引擎访问目录(包括子目录)
3 Sitemap: http://www.boyuanfanyi.cn/sitemap.xml Sitemap地址: http://www.boyuanfanyi.cn/sitemap.xml
下面是qtool检测结果:
User-agent:* 配置:所有搜索引擎
Disallow: 禁止访问:目录
Sitemap:http://www.boyuanfanyi.cn/sitemap.xml Sitemap地址:http://www.boyuanfanyi.cn/sitemap.xml