业务经理

微信扫描以上二维码

028-61286886

怎么屏蔽所有的动态不被爬取，只爬取静态页面

迅睿框架更新 2021-12-24 10:20:10

初级前端-新手上路

网站日志里被爬取的地址很多都是动态URL，如图：

2021-12-24_095044

怎么屏蔽所有的动态不被爬取，只爬取静态页面。

方案

瓦力 #1 · 2021-12-24 09:57:13

rebots.txt
初级前端-新手上路 #2 · 2021-12-24 10:00:55

瓦力要怎么写，屏蔽文件夹还是写规则？不会写动态的屏蔽。
小青年 #3 · 2021-12-24 10:01:39

chinaz里面有蜘蛛屏蔽文件生成器
初级前端-新手上路 #4 · 2021-12-24 10:19:12

满意答案

😴 😴 😴 😴 说得于没说。
初级前端-新手上路 #5 · 2021-12-24 10:20:10

@初级前端-新手上路：自己解决吧。关帖。

迅睿系统漏洞

最近更新的源码