游客:
注册
|
登录
|
统计
|
帮助
点石论坛
»
SEO咨询
» 注意:discuz5.5 robots.txt不规范,易造成复制网页
‹‹ 上一主题
|
下一主题 ››
投票
交易
悬赏
活动
打印
|
推荐
|
订阅
|
收藏
标题: 注意:discuz5.5 robots.txt不规范,易造成复制网页
bmt
金牌会员
纸上谈兵
UID 506
精华
1
积分 1487
帖子 1774
阅读权限 70
注册 2006-9-30
来自 北京乡下
状态 离线
#1
使用道具
发表于 2007-4-1 21:31
资料
短消息
加为好友
注意:discuz5.5 robots.txt不规范,易造成复制网页
呵,如果是自己写,就不会出现问题了,如果用它默认的改,很可能会出问题啊
前两天更新dz到5.5,发现robots.txt中默认增加了些拦截地址,如:
Disallow: digest.php
Disallow: misc.php
Disallow: post.php
Disallow: search.php
这些都是易产生大量复制网页的地址,但是却没起到作用。
首先robots.txt协议中没有找到相对路径的说法,只支持完整路径和部分路径,但都应该都是从/开始的。
其次使用google管理员工具检测,也显示这样的形式不会被拦截.
别的搜索引擎不知道,也许有的支持.
所以我想Disallow的URL还是应该以 / 开始,后面写不写全就是拦截范围的问题,可以把/、路径、文件名统一起来看,即只要以这个URL开始,并且完全包这个URL的都会被拦截。
此问题已在
discuz基础优化
中更新.
[
本帖最后由 bmt 于 2007-4-1 09:44 PM 编辑
]
本帖最近评分记录
国宝
2007-4-4 13:19
威望
+5
文德佛~
星箭
管理员
UID 493
精华 0
积分 1994
帖子 2479
阅读权限 200
注册 2006-9-29
来自 北京
状态 离线
#2
使用道具
发表于 2007-4-1 22:53
资料
主页
短消息
加为好友
thank you bmt
我会反映这个问题的说~~~
bmt
金牌会员
纸上谈兵
UID 506
精华
1
积分 1487
帖子 1774
阅读权限 70
注册 2006-9-30
来自 北京乡下
状态 离线
#3
使用道具
发表于 2007-4-1 23:26
资料
短消息
加为好友
这两天升级到了5.5,同时做了301,忘了上传前还是后改好的,收了一半post之类的无用信息
blank
(songt)
高级会员
UID 229
精华
1
积分 589
帖子 628
阅读权限 50
注册 2006-9-5
来自 浙江水乡
状态 离线
#4
使用道具
发表于 2007-4-2 08:21
资料
短消息
加为好友
BMT现在对DZ是专业级了!
浪子心
新手上路
UID 913
精华 0
积分 36
帖子 77
阅读权限 10
注册 2006-11-6
状态 离线
#5
使用道具
发表于 2007-4-3 15:35
资料
主页
短消息
加为好友
星箭应该感谢楼主啊,呵呵
bmt
金牌会员
纸上谈兵
UID 506
精华
1
积分 1487
帖子 1774
阅读权限 70
注册 2006-9-30
来自 北京乡下
状态 离线
#6
使用道具
发表于 2007-4-3 21:59
资料
短消息
加为好友
QUOTE:
原帖由
浪子心
于 2007-4-3 15:35 发表
星箭应该感谢楼主啊,呵呵
呵呵,这个问题还好。
要是个复杂的问题,他得去troubleshooting,那就惨了
[
本帖最后由 bmt 于 2007-4-3 10:00 PM 编辑
]
星箭
管理员
UID 493
精华 0
积分 1994
帖子 2479
阅读权限 200
注册 2006-9-29
来自 北京
状态 离线
#7
使用道具
发表于 2007-4-3 23:52
资料
主页
短消息
加为好友
QUOTE:
原帖由
bmt
于 2007-4-3 09:59 PM 发表
呵呵,这个问题还好。
要是个复杂的问题,他得去troubleshooting,那就惨了
哈哈。。是啊。。现在supesite那一块就够头疼的了。。都没时间顾及discuz。。。
sren
新手上路
UID 19114
精华 0
积分 1
帖子 76
阅读权限 10
注册 2008-11-3
来自 温州
状态 离线
#8
使用道具
发表于 2008-11-6 11:40
资料
短消息
加为好友
这个做的好专业。学习学习。
投票
交易
悬赏
活动
最近访问的论坛 ...
活动专区
点石论坛
搜索引擎优化
> SEO咨询
> SEO人才市场
> 搜索新闻
> 新手试水专区
网络营销和策划
付费营销和电子商务
> 企业专区
vip会员专区
网络安全
> 网站安全
论坛站务区
> 公告&意见
> 活动专区
> 2009年点石大会
> 点石线下茶话会
当前时区 GMT+8, 现在时间是 2010-3-20 14:25
渝ICP备06007279号
Powered by
Discuz!
5.5.0
© 2001-2007
Comsenz Inc.
Processed in 0.112617 second(s), 9 queries
TOP
清除 Cookies
-
联系我们
-
点石互动
-
Archiver
-
WAP