今天,花了一点时间了解了一下robots.txt,我把自己的robots.txt设置成:
User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /comments/feed
Disallow: /trackback/
Disallow: /?s=
Sitemap: http://www.wpbloging.com/sitemap.xml
下面介绍一些关于robots.txt的文章,给一些像我一样的朋友阅读一下:
1.
为什么要使用robots.txt
2.
使用robots.txt控制搜索引擎抓取
3.
为什么要使用robots.txt
4.
如何写robots.txt?
5.
如何设置WordPress的robots.txt
6.
为WordPress网站创建robots.txt
7.
Create a robots.txt file
8.
如何掌控robots對自己網站的存取?
全部日志