技术栈

标签 seo 下的文章

设置robots.txt允许所有的robot访问
robots.txt是一个纯文本文件,当网络蜘蛛来抓取网站的时候,首先就是访问这个网站的robot.txt文件。所以网站管理者都会在robots.txt文件中声明该网站中不想被robots访问的部分,或者只允许指定的搜索引擎收录指定 ...

52

文章

22

标签