首页 单机游戏 网络游戏 电视游戏 手机游戏
资讯 攻略 下载 找游戏 专区
评论(0)
本站
本站 百度
游民星空 > 资讯中心 > 科技频道 > 正文

百度百科屏蔽谷歌/必应等搜索引擎：自称防止内容被抓取

2024-08-22 14:00:10 来源：互联网 作者：未知 编辑：Noir　浏览：loading

I据报道，近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎，预计是为了阻止这些搜索引擎和其他爬虫，未经授权抓取百度百科的内容用于训练AI。

游民星空

百度百科的robots.txt文件显示，目前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。

虽然360搜索没有在封禁列表中单独列出，但百度百科的策略是禁止一切非白名单爬虫抓取，所以360搜索和其他搜索引擎也都是被屏蔽的。

不过百度百科这种做法其实也只是防君子不防小人，肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。

游民星空

人喜欢
游民星空APP
随时掌握游戏情报
code
分享
新浪微博 QQ 微信
举报| 收藏|
查看全部
查看全部
休闲娱乐
更多
综合热点资讯
单机游戏下载
更多
好物推荐
更多
游民星空联运游戏
更多
百度百科屏蔽谷歌必应等搜索引擎：防止内容被抓取https://imgs.gamersky.com/upimg/new_preview/2024/08/22/origin_b_202408221359451242.jpg