robots.txt的配置介绍

robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限推荐使用站长工具来生成配置文件：http://tool.chinaz.com/robots/ Robots.t...