正在阅读:

为什么要设置robots.txt文件?

1,824

从SEO的角度,robots.txt文件是一定要设置的,原因有以下几点:

① 网站上经常存在这种情况:不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。

② 网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。

③ 一些没有关键词的页面,比如本站的这个页面http://jiangwenseo.com/kuaizhao.html,屏蔽掉更好。

④ 一般情况下,站内的搜索结果页面屏蔽掉更好。

上一节[ 5.5 ]robots.txt写法

下一节[ 5.7 ]搜索引擎的定义,原理以及作用

目前有:1条访客评论

  1. 康秋华
    2015-12-27 09:45

    朋友你好,想和你聊天!

留下脚印,证明你来过。

*

*

流汗坏笑撇嘴大兵流泪发呆抠鼻吓到偷笑得意呲牙亲亲疑问调皮可爱白眼难过愤怒惊讶鼓掌