A. 禁止所有搜索引擎访问网站的任何部分：

User-agent: *

Disallow: /

B. 允许所有的robot 访问

User-agent: *

Disallow:

或者也可以建一个空文件 "/robots.txt" file

C. 禁止所有搜索引擎访问网站的几个部分（下例中的cgi-bin、tmp、private 目录）

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /private/

D. 禁止某个搜索引擎的访问（下例中的Baiduspider）

User-agent: Baiduspider

Disallow: /

E. 只允许某个搜索引擎的访问（下例中的Baiduspider）

User-agent: Baiduspider

Disallow:

User-agent: *

Disallow: /

F. 允许访问特定目录中的部分url

User-agent: *

Allow: /cgi-bin/see

Allow: /tmp/hi

Allow: /~joe/look

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /~joe/

G. 使用"*"限制访问url

ser-agent: *

Disallow: /cgi-bin/*.htm

禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。

H. 使用"$"限制访问url

User-agent: *

Allow: .htm$

Disallow: /

仅允许访问以".htm"为后缀的URL。

I. 禁止访问网站中所有的动态页面

User-agent: *

Disallow: /*?*

J. 禁止 Baiduspider 抓取网站上所有图片

User-agent: Baiduspider

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

仅允许抓取网页，禁止抓取任何图片。

K. 仅允许Baiduspider 抓取网页和.gif 格式图片

User-agent: Baiduspider

Allow: .gif$

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .png$

Disallow: .bmp$

上一节：[ 6.4 ]如何提交Sitemap

下一节：[ 6.6 ]robots.txt文件使用技巧