业务经理

微信扫描以上二维码

028-61286886

robots.txt 哪些目录是不能限制抓取的

迅睿框架更新 2021-09-29 00:15:52

伦少

用迅睿做的一般企业站，网址已经做伪静态了，robots.txt 哪些目录是不能限制抓取的？我可以把所有目录都限制抓取吗？

方案

迅睿框架技术-陈泽希 #1 · 2021-09-26 17:51:01

满意答案

这个没有强制的规定，按具体站点来定，建议使用chinaz工具来生成一个
知忆 #2 · 2021-09-26 20:26:29

这东西就是一个君子协议，一般只有大的搜索引擎会遵守，比如百度（但是也是会有抓取的情况）对于第三方来说，卵用没的
小波工作室--标签和API大师 #3 · 2021-09-26 20:33:37

知忆
明白人，现在百度都不遵守robotstxt协议了

我好几个客户用我的站群插件，本身主站禁止了robots，百度偏要去爬主站
李治 #4 · 2021-09-26 20:36:32

robots.txt 不需要设置了，没有作用的，不像以前的seo了
知忆 #5 · 2021-09-26 20:56:18

小波工作室--标签和API大师你说能通过修改火车头的发布文件来实现一个后台发布多站点数据不
小波工作室--标签和API大师 #6 · 2021-09-26 21:07:04

知忆当然可以，需要修改发布入库脚本，需要安装我开发的多站同步数据的插件
知忆 #7 · 2021-09-26 22:25:24

小波工作室--标签和API大师数据肯定不能同步的，对优化不好我指的是将数据不重复的发布到各站点
独白 #8 · 2021-09-26 23:15:22

这年头根本不需要这个文件了，很多搜索引擎是不讲武德的
伦少 #9 · 2021-09-29 00:15:52

@迅睿框架技术-陈泽希：已经解决

迅睿系统漏洞

最近更新的源码