robots.txt文件
王杭州 10年前 (2014-10-05) 3200浏览 0评论
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。 Robots协议是国际互联网界通行的道德规范...
王杭州 10年前 (2014-10-05) 3200浏览 0评论
Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。 Robots协议是国际互联网界通行的道德规范...