菜鸟之家 - 电脑爱好者
电脑入门级教程网站,一直致力于为电脑初学者提供动力,为菜鸟级中小站长提供图文并茂、通俗易懂的教程!

Zblog 2.X的robots.txt优化写法

一、什么是robots.txt

robots.txt是搜索引擎蜘蛛在访问网站时接触的第一个文件,也是标志着网站针对搜索引擎进行优化的开始。robots.txt是一个协议,目前绝大部分搜索引擎都支持该协议。robots.txt在SEO的过程中起到了引导搜索引擎蜘蛛抓取重要内容,避免蜘蛛将有限的资源浪费在无关的文件如CSS/JS/程序上。

二、百度官方建议

仅当网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。这个建议从搜索引擎的角度来讲是没错的,搜索引擎希望去抓取和分析大量的网站及内容,以便他们能够改进算法。但从我们SEO的角度来说,有一些文件的确是不希望搜索引擎去抓取的。

三、robots的格式说明

User-agent:**星号所有的搜索引擎来收录,包话百度、google等。
Disallow:(表示网站所有文件,都可以让蜘蛛爬取、收录)
Disallow: /admin/ (不允许抓取admin目录下的文件)

四、ZBLOG2.X的robots.txt优化

写好zblog2.x的robots.txt文件对网站至关重要,可以通过写robots.txt来屏蔽不需要抓取的页面,从而提高收录质量。

User-agent:*(允许所有搜索引擎来收录)
Disallow:/zb_system/login.asp(登陆后台)
Disallow:/zb_system/admin(管理员登陆目录)
Disallow:/zb_system/FUNCTION (函数)
Disallow:/zb_system/css(css目录)
Disallow:/zb_users/DATA(数据库)
Disallow:/zb_users/PLUGIN(插件目录)
Disallow:/zb_users/LANGUAGE(语言文件)
Disallow:/zb_users/THEME(模板目录)
Disallow:/search.asp(站内搜索)
Disallow:/*?* (禁止带有?的动态地址,按需要进行屏蔽)
Disallow:/view.asp?(不需要抓取)

Sitemap:http://www.你的域名i.com/sitemap.xml  (这里并不是屏蔽,而是告诉搜索引擎,这里有网站地图地址)

五、注意事项

robots.tst 命名都应是小写,大写会会造成搜索引擎无法找到该文件,从而将网站视为没有robots.txt处理。按照协议标准,robots.txt内所有行的首字母应该大写。错误写法会造成搜索引擎无法识别,从而忽略该条协议。

正确写法:
User-agent:*
Disallow:

创建上传robots.txt到FTP目根录,后通过域名/ robots.txt能正常访问。

标签:网站设计优化协议
分类:网站建设| 发布:网络咖啡| 查看: | 发表时间:2013/10/31
原创文章如转载,请注明:转载自菜鸟之家 本文链接:http://dingguangqun.com/Article/1148.html
上一篇 » 阿里巴巴:手机上淘宝、天猫免流量了 下一篇 » 升级win8.1后如何删除windows.old

已经有 ( 0 ) 位网友发表了评论,你也评一评吧!

Design By Sean_cms | Login | Power By Z-Blog 2.3 Avengers Build 180518.