标题: 注意:discuz5.5 robots.txt不规范,易造成复制网页
bmt
金牌会员
Rank: 6Rank: 6
纸上谈兵



UID 506
精华 2
积分 1206
帖子 1417
阅读权限 70
注册 2006-9-30
来自 北京乡下
状态 离线
发表于 2007-4-1 21:31  资料  短消息  加为好友  QQ
注意:discuz5.5 robots.txt不规范,易造成复制网页

呵,如果是自己写,就不会出现问题了,如果用它默认的改,很可能会出问题啊

前两天更新dz到5.5,发现robots.txt中默认增加了些拦截地址,如:
Disallow: digest.php
Disallow: misc.php
Disallow: post.php
Disallow: search.php
这些都是易产生大量复制网页的地址,但是却没起到作用。

首先robots.txt协议中没有找到相对路径的说法,只支持完整路径和部分路径,但都应该都是从/开始的。
其次使用google管理员工具检测,也显示这样的形式不会被拦截.
别的搜索引擎不知道,也许有的支持.

所以我想Disallow的URL还是应该以 / 开始,后面写不写全就是拦截范围的问题,可以把/、路径、文件名统一起来看,即只要以这个URL开始,并且完全包这个URL的都会被拦截。

此问题已在discuz基础优化中更新.

[ 本帖最后由 bmt 于 2007-4-1 09:44 PM 编辑 ]


本帖最近评分记录
国宝   2007-4-4 13:19  威望  +5   文德佛~
顶部
星箭
管理员
Rank: 9Rank: 9Rank: 9


UID 493
精华 0
积分 1911
帖子 2365
阅读权限 200
注册 2006-9-29
来自 北京
状态 离线
发表于 2007-4-1 22:53  资料  主页 短消息  加为好友  添加 星箭 为MSN好友 通过MSN和 星箭 交谈 QQ
thank you bmt
我会反映这个问题的说~~~

顶部
bmt
金牌会员
Rank: 6Rank: 6
纸上谈兵



UID 506
精华 2
积分 1206
帖子 1417
阅读权限 70
注册 2006-9-30
来自 北京乡下
状态 离线
发表于 2007-4-1 23:26  资料  短消息  加为好友  QQ

这两天升级到了5.5,同时做了301,忘了上传前还是后改好的,收了一半post之类的无用信息

顶部
blank (songt)
版主
Rank: 7Rank: 7Rank: 7


UID 229
精华 0
积分 492
帖子 603
阅读权限 100
注册 2006-9-5
来自 浙江水乡
状态 离线
发表于 2007-4-2 08:21  资料  短消息  加为好友  添加 blank 为MSN好友 通过MSN和 blank 交谈 QQ
BMT现在对DZ是专业级了!

顶部
浪子心
新手上路
Rank: 1



UID 913
精华 0
积分 41
帖子 77
阅读权限 10
注册 2006-11-6
状态 离线
发表于 2007-4-3 15:35  资料  主页 短消息  加为好友 
星箭应该感谢楼主啊,呵呵

顶部
bmt
金牌会员
Rank: 6Rank: 6
纸上谈兵



UID 506
精华 2
积分 1206
帖子 1417
阅读权限 70
注册 2006-9-30
来自 北京乡下
状态 离线
发表于 2007-4-3 21:59  资料  短消息  加为好友  QQ


QUOTE:
原帖由 浪子心 于 2007-4-3 15:35 发表
星箭应该感谢楼主啊,呵呵

呵呵,这个问题还好。
要是个复杂的问题,他得去troubleshooting,那就惨了

[ 本帖最后由 bmt 于 2007-4-3 10:00 PM 编辑 ]

顶部
星箭
管理员
Rank: 9Rank: 9Rank: 9


UID 493
精华 0
积分 1911
帖子 2365
阅读权限 200
注册 2006-9-29
来自 北京
状态 离线
发表于 2007-4-3 23:52  资料  主页 短消息  加为好友  添加 星箭 为MSN好友 通过MSN和 星箭 交谈 QQ


QUOTE:
原帖由 bmt 于 2007-4-3 09:59 PM 发表

呵呵,这个问题还好。
要是个复杂的问题,他得去troubleshooting,那就惨了

哈哈。。是啊。。现在supesite那一块就够头疼的了。。都没时间顾及discuz。。。

顶部
sren
新手上路
Rank: 1


UID 19114
精华 0
积分 11
帖子 25
阅读权限 10
注册 2008-11-3
来自 温州
状态 离线
发表于 2008-11-6 11:40  资料  短消息  加为好友  添加 sren 为MSN好友 通过MSN和 sren 交谈 QQ
这个做的好专业。学习学习。

顶部
 



当前时区 GMT+8, 现在时间是 2008-12-4 06:23
渝ICP备06007279号


    本论坛支付平台由支付宝提供
携手打造安全诚信的交易社区 Powered by Discuz! 5.5.0  © 2001-2007 Comsenz Inc.
清除 Cookies - 联系我们 - 点石互动 - WAP