推荐阅读:搜索引擎指南robots.txt文件
有一种力量其实一直在渗入大量的网站和页面,我们通常看不到它们,而且它们通常也很蛮横,大部分人甚至不知道它的存在,大家不要误会,其实我说得是搜索引擎爬虫和机器人。每天,上百个这样的爬虫会出来对网站进行快速的搜索。不管是不是google打算对整个网络进行索引,还是spam机器人打算收集大量的 email地址,通常它们这样的寻找是漫无目的的。作为网站拥有者,我们可以通过一个叫做robots.txt的文件来控制哪些动作是机器人可以做的。
创建robots.txt文件
好,现在我们开始行动。创建一个叫robots.txt的文本文件,请确保它的文件名是正确
|
|
|
 |
| 共 16 条记录 页次:1/1页 每页20条【最前页】【上一页】【下一页】【最后页】 |