业务经理

微信扫描以上二维码

028-61286886

怎么设置有些栏目不希望被蜘蛛抓取

迅睿框架更新 2022-07-21 19:04:44

缘梦

有些栏目不希望被蜘蛛抓取，怎么设置才能显示为不可点击

有没有什么解决办法，

还有友情链接模块也生成出来的，蜘蛛全都抓取了友情链接

很头疼

方案

在路上 #1 · 2022-03-21 17:26:12

蜘蛛txt文件控制
湖边小伙 #2 · 2022-03-21 17:30:57

robots.txt 设置下
志伟 #3 · 2022-03-21 17:55:17

前台不访问栏目列表的话，可以把栏目封面模板和列表模板设置成空白。然后robots.txt再屏蔽下。
缘梦 #4 · 2022-04-09 16:41:49

湖边小伙这个只是一种权宜之计，但是希望还是不要直接被抓取，不要显示，感觉怪怪的
我不是大佬 #5 · 2022-04-09 16:45:58

<meta name="robots" content="noarchive">
开心果 #6 · 2022-04-09 16:50:10

通过 robots.txt文件设置 Disallow:这里是不希望被蜘蛛抓取的目录如果不知道怎么设置，可以通过网站https://tool.chinaz.com/robots?qq-pf-to=pcqq.group生成后放到网站根目录
开心果 #7 · 2022-04-09 16:51:59

友链地址可以增加 rel="nofollow" 让蜘蛛知道这个不抓取
缘梦 #8 · 2022-07-19 11:21:23

开心果这个方法我知道，我的意思是怎么能让这些链接不出现在文件里面
新手上路 #9 · 2022-07-20 15:46:01

满意答案

安装官方的sitemap工具。然后写对应的sql屏蔽栏目id比如：

就是屏蔽栏目id为8
缘梦 #10 · 2022-07-21 19:04:44

@新手上路：好的，老哥

迅睿系统漏洞

最近更新的源码