搜索引擎蜘蛛参考大全

发布日期:2014年10月12日| 点击: 16,306 次| 评论: 1

百度蜘蛛 Baiduspider(抓取页面蜘蛛) Baiduspider-image(抓取图片的蜘蛛) Baiduspider-mobile(抓取wap) Baiduspider-...

百度都支持哪些Robots Meta标签?

发布日期:2014年10月10日| 点击: 15,093 次| 评论:4

百度支持nofollow和noarchive。 详情见:http://www.baidu.com/search/robots.html 禁止搜索引擎收录的方法 1. 什么是robots....