禁止抓取 index.php

迅睿框架更新 2024-10-16 17:15:23

黑马

/index.php?s=api&c=module&siteid=1&app=news&m=hits&id=238 这种地址是禁止搜索引擎抓取的请问这个抓取是在哪个文件里面改啊！我想变通改一下禁止他还抓一些其他页面！如广告页如 css等

方案

封不平 #1 · 2024-10-05 20:25:30

rebox.txt里面去写地址
小黄人 18html #2 · 2024-10-06 16:02:28
- Robots爬虫协议生成器
  
  告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎蜘蛛获取的，...
如果不会写，可以考虑使用插件
魂 #3 · 2024-10-12 18:28:48
robots.txt文件中添加禁止：
```
User-agent: *
Disallow: /index.php
```
禁止抓取index.php文件
```
Disallow: /index.php*
```
禁止抓取以index.php开头的所有链接

shijian #4 · 2024-10-16 17:15:23

Disallow: /index.php*禁止抓取这个的文件，但是这个只是禁止，你访问还是可以访问的