业务经理

微信扫描以上二维码

028-61286886

技术咨询

怎么样屏蔽蜘蛛爬取一些页面

迅睿框架 更新 2022-03-11 13:57:45 迅睿很棒

蜘蛛监控中很多这样的页面。

/index.php?s=news&c=comment&m=index&id=1807&&type=0&page=1&0.9999794062690222&callback=jQuery110009550518769024592_1646960477020&_=1646960477021

/index.php?s=news&c=comment&m=index&id=2978&&type=0&page=1&0.226611196182682&callback=jQuery110008022063669223576_1646960418323&_=1646960418324

请教下,怎么样屏蔽蜘蛛爬取这个,或者关闭这个页面。

方案

  • 迅睿框架联合创始人 #1 · 2022-03-11 13:28:21
    百度搜索reboot文件。这个文件可以配置哪些地址和被蜘蛛访问
  • 阳光 #2 · 2022-03-11 13:35:09
    满意答案
    https://robots.bmcx.com/ 应该是老大把字母打错了
  • 周磊 #3 · 2022-03-11 13:37:22
    http://www.robotstxt.org/robotstxt.html 这个就比较权威。
  • 迅睿很棒 #4 · 2022-03-11 13:57:23
    周磊 感谢,只能这么办了

迅睿系统漏洞

多语言翻译Seolang
多语言翻译Seolang(2026-09-21)
1. 新增译文数据备份恢复页面,支持断点续传 2. 多语言声明中心...
AI文章生成器
AI文章生成器(2026-09-20)
任务拆分独立配置 新增AI生成关键词 新增指令模板 新增品牌信...
GEO系统
GEO系统(2026-09-20)
后台 AEO 与运营端对齐:区域、跑批、CSV、补强、剧本均可在迅睿...
GeoSeo工具箱
GeoSeo工具箱(2026-09-18)
修正菜单规范
后台二次登陆验证
后台二次登陆验证(2026-09-18)
新增邮箱验证 新增短信验证
京东云短信
京东云短信(2026-09-17)
- 验证码有效期改只读展示 - 有效期旁新增系统设置按钮 - 保...
创蓝短信
创蓝短信(2026-09-17)
- 验证码有效期改只读展示 - 有效期旁新增系统设置按钮 - 保...
火山引擎短信
火山引擎短信(2026-09-17)
- 验证码有效期改只读展示 - 有效期旁新增系统设置按钮 - 保...
外贸多语言建站
外贸多语言建站(2026-09-17)
优化独立内容过滤机制