注意:discuz5.5 robots.txt不规范,易造成复制网页

bmt

呵，如果是自己写，就不会出现问题了，如果用它默认的改，很可能会出问题啊

前两天更新dz到5.5，发现robots.txt中默认增加了些拦截地址，如:
Disallow: digest.php
Disallow: misc.php
Disallow: post.php
Disallow: search.php
这些都是易产生大量复制网页的地址，但是却没起到作用。

首先robots.txt协议中没有找到相对路径的说法，只支持完整路径和部分路径，但都应该都是从/开始的。
其次使用google管理员工具检测，也显示这样的形式不会被拦截.
别的搜索引擎不知道，也许有的支持.

所以我想Disallow的URL还是应该以 / 开始，后面写不写全就是拦截范围的问题，可以把/、路径、文件名统一起来看，即只要以这个URL开始，并且完全包这个URL的都会被拦截。

此问题已在discuz基础优化中更新.

[ 本帖最后由 bmt 于 2007-4-1 09:44 PM 编辑 ]

星箭

thank you bmt
我会反映这个问题的说~~~

bmt

这两天升级到了5.5，同时做了301，忘了上传前还是后改好的，收了一半post之类的无用信息

blank

BMT现在对DZ是专业级了！

浪子心

星箭应该感谢楼主啊，呵呵

bmt

原帖由 浪子心 于 2007-4-3 15:35 发表
星箭应该感谢楼主啊，呵呵

呵呵，这个问题还好。
要是个复杂的问题，他得去troubleshooting，那就惨了

[ 本帖最后由 bmt 于 2007-4-3 10:00 PM 编辑 ]

星箭

原帖由 bmt 于 2007-4-3 09:59 PM 发表

呵呵，这个问题还好。
要是个复杂的问题，他得去troubleshooting，那就惨了

哈哈。。是啊。。现在supesite那一块就够头疼的了。。都没时间顾及discuz。。。

sren

这个做的好专业。学习学习。