百度蜘蛛
Baiduspider（抓取页面蜘蛛）
Baiduspider-image（抓取图片的蜘蛛）
Baiduspider-mobile（抓取wap）
Baiduspider-image（抓取图片）
Baiduspider-video（抓取视频）
Baiduspi...
百度支持nofollow和noarchive。
详情见：http://www.baidu.com/search/robots.html
禁止搜索引擎收录的方法
1. 什么是robots.txt文件?
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问...
