百度 Baiduspider-render 新 UA 可抓取 CSS、Javascript

昨天何先生在查看网站日志的时候发现一个新蜘蛛 Baiduspider-render ,对我网站疯狂抽插,当时以为是假蜘蛛,本想屏蔽掉,搜索了一下关键词,原来是百度更新了算法,新增渲染抓取UA,增加的UA主要为 Baiduspider-render,目的为访问网站的 CSS、Javascript 和图片信息,之前百度 Spider 无法抓取识别 Javascript。

这样看来原来是好事,不然我就把百度这个大爷拒之门外了。

百度官方公告:

百度 Baiduspider-render 新 UA 可抓取 CSS、Javascript

为了给搜索用户更好的体验、对站点实现更好地索引和呈现,百度搜索需要访问网站的CSS、Javascript和图片信息,以便更精准地理解页面内容,实现搜索结果最优排名,百度搜索会全面启用最新UA来访问站点的上述资源。从昨天开始,百度搜索抽取了部分优质站点进行抓取内测,可能会对站点服务器造成一定压力影响,请尽量不要对UA进行封禁,以免造成不可逆转的损失。

最新UA如下:

PC端:Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
移动端口:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
转载请注明出处。
何先生 » 百度 Baiduspider-render 新 UA 可抓取 CSS、Javascript
Loading...

发表评论

表情
图片 链接 代码

5 评论

  1. 完全看不懂,不过这个打字时候跳出来的颜色还蛮好看的,

    1. @shirley 这个我也是从别人博客看到的,感觉新鲜,时间长了就觉得没啥感觉了

  2. seo得注意了

    1. @星空游戏 你是我的忠实粉丝嘛 :wink: ,每篇文章都是你的沙发 :shock:

    2. @星空游戏 不得不说你的广告打得很专业,我都舍不得删评论 :mrgreen:

提供最优质的资源集合

立即查看 了解详情