正在阅读:

robots.txt用法详解!

3,102

A. 禁止所有搜索引擎访问网站的任何部分:

User-agent: *

Disallow: /

B. 允许所有的robot 访问

User-agent: *

Disallow:

或者也可以建一个空文件 "/robots.txt" file

C. 禁止所有搜索引擎访问网站的几个部分(下例中的cgi-bin、tmp、private 目录)

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /private/

D. 禁止某个搜索引擎的访问(下例中的Baiduspider)

User-agent: Baiduspider

Disallow: /

E. 只允许某个搜索引擎的访问(下例中的Baiduspider)

User-agent: Baiduspider

Disallow:

User-agent: *

Disallow: /

F. 允许访问特定目录中的部分url

User-agent: *

Allow: /cgi-bin/see

Allow: /tmp/hi

Allow: /~joe/look

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

G. 使用"*"限制访问url

ser-agent: *

Disallow: /cgi-bin/*.htm

禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

H. 使用"$"限制访问url

User-agent: *

Allow: .htm$

Disallow: /

仅允许访问以".htm"为后缀的URL。

I. 禁止访问网站中所有的动态页面

User-agent: *

Disallow: /*?*

J. 禁止 Baiduspider 抓取网站上所有图片

User-agent: Baiduspider

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

仅允许抓取网页,禁止抓取任何图片。

K. 仅允许Baiduspider 抓取网页和.gif 格式图片

User-agent: Baiduspider

Allow: .gif$

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .png$

Disallow: .bmp$

上一节[ 6.4 ]如何提交Sitemap

下一节[ 6.6 ]robots.txt文件使用技巧

留下脚印,证明你来过。

*

*

流汗坏笑撇嘴大兵流泪发呆抠鼻吓到偷笑得意呲牙亲亲疑问调皮可爱白眼难过愤怒惊讶鼓掌