推荐一些关于robots.txt的文章
- 2007-07-07
- WordPress Hacks
- 0个评论
今天,花了一点时间了解了一下robots.txt,我把自己的robots.txt设置成:
User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /comments/feed
Disallow: /trackback/
Disallow: /?s=
Sitemap: http://www.wpbloging.com/sitemap.xml
下面介绍一些关于robots.txt的文章,给一些像我一样的朋友阅读一下:
1.为什么要使用robots.txt
2.使用robots.txt控制搜索引擎抓取
3.为什么要使用robots.txt
4.如何写robots.txt？
5.如何设置WordPress的robots.txt
6.为WordPress网站创建robots.txt
7.Create a robots.txt file
8.如何掌控robots對自己網站的存取?
转载请注明文章转载自：Wordpress Blogging [http://www.wpblogging.com]
本文链接地址：推荐一些关于robots.txt的文章
分享收藏
Tags:
