搜索设置集成栏目页后，是否需要禁止爬虫访问栏目页
迅睿框架 更新 2020-11-17 15:44:10
卧龙隐者
卧龙隐者
模块搜索设置集成栏目页后，是否需要禁止爬虫访问栏目页？
因为集成栏目页后，访问栏目页会定向到搜索页面。还看到要尽量屏蔽蜘蛛爬虫访问搜索页面。
所以就有了这个问题。
过滤防火墙
蜘蛛防火墙过滤，IP防火墙过滤，拦截指定IP，拦截不常用的蜘蛛，不浪费流量
帅不过十秒