业务经理

微信扫描以上二维码

028-61286886

蜘蛛抓取全是找不到页面

迅睿框架更新 2023-12-09 12:53:30

罗斯

QQ截图20231202115914

请问这个是怎么回事，这些URL是后台文件地址吗？为什么打不开，更新了系统配置和缓存，蜘蛛一抓就遇到错误我其他页面都不抓了，动态地址我robots禁止过蜘蛛还是会爬

方案

开源社区插件技术-小鹏 #1 · 2023-12-02 19:16:33

这个插件是记录蜘蛛的抓取日志。他不能控制蜘蛛抓取哪个不能抓哪个，这个是控制不了的。这个插件只是记录单纯的记录蜘蛛的抓取页面，记录蜘蛛抓取了你的网站哪些页面无法控制不让他抓哪个
罗斯 #2 · 2023-12-02 20:15:06

是我的网站设置问题吗？
Jazz #3 · 2023-12-02 20:30:10

这个插件是记录日志，并不是控制蜘蛛，你需要通过日志来找原因
罗斯 #4 · 2023-12-09 11:39:04

请问这个是不是蜘蛛来网站--访问首页--遇到错误--网站重定向--又访问首页--又遇到错误--又重定向--又访问首页，最后就走了，我根目录没有这些文件，很多都是调用字段、模版等，其他页面都没有蜘蛛爬网站系统日志也没有显示错误的，该怎么办
小孟学编程 #5 · 2023-12-09 11:53:11

有可能你这个域名，在很久以前被蜘蛛光临过，猪猪记住了他的路径，所以才按以前的套路来爬
罗斯 #6 · 2023-12-09 12:23:58

请问那怎么处理
黄老邪 #7 · 2023-12-09 12:40:48

你需要在百度上提交死链接，让蜘蛛不要抓取这些链接
罗斯 #8 · 2023-12-09 12:53:30

目录都不知道，怎么提交

迅睿系统漏洞

最近更新的源码