head-img Force's Blog

分类 HTML 下的文章

设置robots.txt允许所有的robot访问
robots.txt是一个纯文本文件,当网络蜘蛛来抓取网站的时候,首先就是访问这个网站的robot.txt文件。所以网站管理者都会在robots.txt文件中声明该网站中不想被robots访问的部分,或者只允许指定的搜索引擎收录指定 ...

135

文章

14

标签

 访客统计  Update-0927-16:05

 网站信息