WordPress 教程:利用 robots.txt 优化 WordPress SEO

[ 博客 ]

Robots.txt 是放在网站根目录给搜索引擎看的一个文件,告诉搜索引擎什么链接能收录什么链接不能收录以及什么搜索引擎能够收录,在 SEO 中有着举足轻重的作用。如果您不想让 Google 或其他搜索引擎访问您网站中的某些内容,请用 robots.txt 文件指定搜索引擎抓取您的网站内容的方式。这是 google 管理员工具对 robots.txt 功能的一个描述

WordPress 本身就有很多地方是非添加 robots.txt 不可的,比如:用了伪静态链接之后动态链接依然能访问博客,用Wordpress架设的博客有很多不同链接但相同内容的页面。

 

最简单的 robots.txt 规则:

User-agent: *
Disallow:

这是开放式的写法,Disallow: 留空,让搜索引擎收录所有链接。

 

WordPress 常用的 robots.txt 规则:
User-agent: *
Disallow: /*?* (屏蔽搜索引擎机器人收录动态网页,因为/?q=id也是能访问文章)
Disallow: /wp-admin (屏蔽搜索引擎机器人收录管理界面)
Disallow: /wp-content/plugins (屏蔽搜索引擎机器人收录插件文件)
Disallow: /wp-content/themes (屏蔽搜索引擎机器人收录模板文件)
Disallow: /wp-includes (屏蔽搜索引擎机器人收录JS文件)
Disallow: /trackback (屏蔽搜索引擎机器人收录trackback等垃圾信息,关闭trackback的可以忽略)
Disallow: /feed (Feed中都是与日志相同的信息当然要屏蔽)
Disallow: /comments(下面三个上面有介绍了)
Sitemap: http://www.jeffstudio.net/sitemap.xml (这个用来告诉搜索引擎sitemap的路径,我用了两个)
Sitemap: http://www.jeffstudio.net/sitemap_baidu.xml

feed 和 trackback 的条款是一定要的,可以说 wordpress 80% 以上的补充材料都是和它们有关。

 

WordPress 官方 robots.txt 书写规则(国外)
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /author/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# digg mirror
User-agent: duggmirror
Disallow: /
Sitemap: http://www.example.com/sitemap.xml

使用 robots.txt 需要注意的几点地方:

1. 指令区分大小写,忽略未知指令,下图是本博客的 robots.txt 文件在 Google 管理员工具里的测试结果;

2. 每一行代表一个指令,空白和隔行会被忽略;

3. “#” 号后的字符参数会被忽略;

4. 有独立 User-agent 的规则,会排除在通配 “*”User agent 的规则之外;

5. 可以写入 sitemap 文件的链接,方便搜索引擎蜘蛛爬行整站内容;

6. 尽量少用 Allow 指令,因为不同的搜索引擎对不同位置的 Allow 指令会有不同看待。

 

在线生成 robots.txt 的工具:

百度站长工具:http://zhanzhang.baidu.com/robots/generator

Chinaz 站长工具:http://tool.chinaz.com/robots/

发表评论

电子邮件地址不会被公开。

随机