标题: 注意:discuz5.5 robots.txt不规范,易造成复制网页
bmt
金牌会员
Rank: 6Rank: 6
纸上谈兵



UID 506
精华 1
积分 1467
帖子 1749
阅读权限 70
注册 2006-9-30
来自 北京乡下
状态 在线
发表于 2007-4-1 21:31  资料  短消息  加为好友  QQ
注意:discuz5.5 robots.txt不规范,易造成复制网页

呵,如果是自己写,就不会出现问题了,如果用它默认的改,很可能会出问题啊www.dunsh.orgs.N_4s:Xp:Cl
F$Hw#~9^U v
m

前两天更新dz到5.5,发现robots.txt中默认增加了些拦截地址,如:www.dunsh.orgc
m?J
RJB7x

Disallow: digest.php点石论坛u:N:~#m%Z8D
Disallow: misc.php.W?!tC kgq
Disallow: post.php
I2V9B
Kv!{
|v
Disallow: search.php(e-I$w M|
这些都是易产生大量复制网页的地址,但是却没起到作用。
6t%H#m/Sw2Bo:x*ML3q fP/e
首先robots.txt协议中没有找到相对路径的说法,只支持完整路径和部分路径,但都应该都是从/开始的。

SwaCA^\XAO
其次使用google管理员工具检测,也显示这样的形式不会被拦截.www.dunsh.org y_8l
qVwi2h:|

别的搜索引擎不知道,也许有的支持.点石论坛PxGzEv

;G'LU5E)?;u \.n9[所以我想Disallow的URL还是应该以 / 开始,后面写不写全就是拦截范围的问题,可以把/、路径、文件名统一起来看,即只要以这个URL开始,并且完全包这个URL的都会被拦截。
Q9L_/F-w}-VP(u
I0}Su {n1qm.[8A

此问题已在discuz基础优化中更新."Yw"q6Ia&ncTa

Ln3B KgT/tN{w[ 本帖最后由 bmt 于 2007-4-1 09:44 PM 编辑 ]


本帖最近评分记录
国宝   2007-4-4 13:19  威望  +5   文德佛~
顶部
星箭
管理员
Rank: 9Rank: 9Rank: 9


UID 493
精华 0
积分 1949
帖子 2408
阅读权限 200
注册 2006-9-29
来自 北京
状态 离线
发表于 2007-4-1 22:53  资料  主页 短消息  加为好友  添加 星箭 为MSN好友 通过MSN和 星箭 交谈 QQ
thank you bmt
-q4_}h5r%p)]6EzU我会反映这个问题的说~~~





星箭SEO博客<--禁止点击此链接,违者罚款300元
顶部
bmt
金牌会员
Rank: 6Rank: 6
纸上谈兵



UID 506
精华 1
积分 1467
帖子 1749
阅读权限 70
注册 2006-9-30
来自 北京乡下
状态 在线
发表于 2007-4-1 23:26  资料  短消息  加为好友  QQ

u6mGau6g3iQNRwww.dunsh.org这两天升级到了5.5,同时做了301,忘了上传前还是后改好的,收了一半post之类的无用信息

顶部
blank (songt)
版主
Rank: 7Rank: 7Rank: 7


UID 229
精华 1
积分 594
帖子 627
阅读权限 100
注册 2006-9-5
来自 浙江水乡
状态 离线
发表于 2007-4-2 08:21  资料  短消息  加为好友  添加 blank 为MSN好友 通过MSN和 blank 交谈 QQ
BMT现在对DZ是专业级了!





Mr'Seo Blank 小黑窝……Better late than the late
顶部
浪子心
新手上路
Rank: 1



UID 913
精华 0
积分 36
帖子 77
阅读权限 10
注册 2006-11-6
状态 离线
发表于 2007-4-3 15:35  资料  主页 短消息  加为好友 
星箭应该感谢楼主啊,呵呵

顶部
bmt
金牌会员
Rank: 6Rank: 6
纸上谈兵



UID 506
精华 1
积分 1467
帖子 1749
阅读权限 70
注册 2006-9-30
来自 北京乡下
状态 在线
发表于 2007-4-3 21:59  资料  短消息  加为好友  QQ


QUOTE:
原帖由 浪子心 于 2007-4-3 15:35 发表)Lq[7A}
星箭应该感谢楼主啊,呵呵

,oi_z2M7zx%Wg
呵呵,这个问题还好。
        J%m7N+h8Ky%V%o要是个复杂的问题,他得去troubleshooting,那就惨了
7qi8`8aRr0R8L5i
'PC0Q;H|[ 本帖最后由 bmt 于 2007-4-3 10:00 PM 编辑 ]

顶部
星箭
管理员
Rank: 9Rank: 9Rank: 9


UID 493
精华 0
积分 1949
帖子 2408
阅读权限 200
注册 2006-9-29
来自 北京
状态 离线
发表于 2007-4-3 23:52  资料  主页 短消息  加为好友  添加 星箭 为MSN好友 通过MSN和 星箭 交谈 QQ


QUOTE:
原帖由 bmt 于 2007-4-3 09:59 PM 发表MD`
|
vGig l+J

9}Wm"Og
呵呵,这个问题还好。u@Y3ouW0I6|*S
~

要是个复杂的问题,他得去troubleshooting,那就惨了

d
@"R&@as O
哈哈。。是啊。。现在supesite那一块就够头疼的了。。都没时间顾及discuz。。。





星箭SEO博客<--禁止点击此链接,违者罚款300元
顶部
sren
新手上路
Rank: 1


UID 19114
精华 0
积分 5
帖子 60
阅读权限 10
注册 2008-11-3
来自 温州
状态 离线
发表于 2008-11-6 11:40  资料  短消息  加为好友  添加 sren 为MSN好友 通过MSN和 sren 交谈 QQ
这个做的好专业。学习学习。

顶部
 



当前时区 GMT+8, 现在时间是 2009-7-4 16:16
渝ICP备06007279号


    本论坛支付平台由支付宝提供
携手打造安全诚信的交易社区 Powered by Discuz! 5.5.0  © 2001-2007 Comsenz Inc.
Processed in 0.043180 second(s), 7 queries

清除 Cookies - 联系我们 - 点石互动 - Archiver - WAP