游客:  注册 | 登录 | 统计 | 帮助

点石论坛 » 新手试水专区 » robots是必须的吗？

敬请关注2008年上海点石大会：点石大会介绍 - 演讲嘉宾介绍 - 如何缴费参加？ - 推荐阅读：参会指导 - 大会赞助商列表 - 参会名单公示

 
打印 | 推荐 | 订阅 | 收藏
标题: robots是必须的吗？
nuansediao
新手上路
Rank: 1


UID 10796
精华 0
积分 36
帖子 225
阅读权限 10
注册 2007-10-2
来自 西安
状态 离线
#1
使用道具  
发表于 2007-11-27 21:16  资料  主页 短消息  加为好友  QQ
robots是必须的吗？

今天看一个教程时里面说，robots .txt是网站必须的，那怕你不会写空着也可以，但必须要有，是这样的吗？

顶部
zac
管理员
Rank: 9Rank: 9Rank: 9



UID 2
精华 0
积分 1786
帖子 2769
阅读权限 200
注册 2006-8-30
来自 新加坡
状态 离线
#2
使用道具  
发表于 2007-11-27 22:57  资料  短消息  加为好友 
不是。

但为安全起见，还是最少放个空文件比较好。原因是预防搜索引擎把404页面当robots .txt文件。

顶部
zaqwsx
新手上路
Rank: 1



UID 11536
精华 0
积分 13
帖子 27
阅读权限 10
注册 2007-10-22
状态 离线
#3
使用道具  
发表于 2007-11-28 16:32  资料  短消息  加为好友 
现在的搜索引擎还会那么傻吗，把404当成robots.txt

顶部
zac
管理员
Rank: 9Rank: 9Rank: 9



UID 2
精华 0
积分 1786
帖子 2769
阅读权限 200
注册 2006-8-30
来自 新加坡
状态 离线
#4
使用道具  
发表于 2007-11-28 16:42  资料  短消息  加为好友 
不是傻不傻的问题，是有的服务器确实会返回404页面却给200状态码。再说什么都有出错的时候。

顶部
martin
中级会员
Rank: 3Rank: 3



UID 9587
精华 0
积分 295
帖子 337
阅读权限 30
注册 2007-8-23
状态 离线
#5
使用道具  
发表于 2007-11-28 16:46  资料  短消息  加为好友 
用的人多了，自然其他人也跟着用，连google也鼓励用

顶部
moyankang
注册会员
Rank: 2



UID 17028
精华 0
积分 174
帖子 367
阅读权限 20
注册 2007-11-1
状态 离线
#6
使用道具  
发表于 2007-11-28 17:22  资料  短消息  加为好友 
robots.txt，又不是很麻烦，弄一个也很简单的！

顶部
 



当前时区 GMT+8, 现在时间是 2008-11-23 20:37
渝ICP备06007279号


    本论坛支付平台由支付宝提供 携手打造安全诚信的交易社区 Powered by Discuz! 5.5.0  © 2001-2007 Comsenz Inc.
TOP

清除 Cookies - 联系我们 - 点石互动 - WAP