正在阅读:

robots.txt文件的错误写法!

1,848

A. 颠倒了顺序

错误写成:

User-agent: *

Disallow: GoogleBot

正确的应该是:

User-agent: GoogleBot

Disallow: *

B. 把多个禁止命令放在一行中

错误写成:

Disallow: /css/ /cgi-bin/ /images/

正确的应该是:

Disallow: /css/

Disallow: /cgi-bin/

Disallow: /images/

C. 行前有大量空格

错误写成:

Disallow: /cgi-bin/

尽管在标准没有谈到这个,但是这种方式很容易出问题。

D. 404 重定向到另外一个页面

当Robot访问很多没有设置robots.txt文件的站点时,会被自动404重定向到另外一个Html 页面。这时Robot常常会以处理robots.txt文件的方式处理这个Html页面文件。虽然一般这样没有什么问题,但是最好能放一个空白的robots.txt 文件在站点根目录下。

E. 采用大写

错误写成:

USER-AGENT: EXCITE

DISALLOW:

虽然标准是没有大小写的,但是目录和文件名应该小写。

正确的应该是:

user-agent:GoogleBot

disallow:

F. 语法中只有Disallow,没有Allow

错误写成:

User-agent: Baiduspider

Disallow: /john/

allow: /jane/

G. 忘记了斜杠/

错误写成:

User-agent: Baiduspider

Disallow: css

正确的应该是:

User-agent: Baiduspider

Disallow: /css/

上一节[ 6.6 ]robots.txt文件使用技巧

下一节[ 6.8 ]如何优化网站URL

目前有:1条访客评论

  1. 静琪
    2015-12-02 06:50

    不错的。谢谢喽

留下脚印,证明你来过。

*

*

流汗坏笑撇嘴大兵流泪发呆抠鼻吓到偷笑得意呲牙亲亲疑问调皮可爱白眼难过愤怒惊讶鼓掌