百度百科封鎖Google和Bing 防止未授權抓取訓練AI

科技 俣辰

百度百科封鎖Google和Bing 防止未授權抓取訓練AI

根據百度百科的robots.txt檔案,目前僅允許百度搜尋、搜狗搜尋、中國搜尋(Chinaso)、YYSpider和宜搜搜尋(EasouSpider)等少數搜尋引擎抓取其內容。所有其他搜尋引擎,包括Google搜尋、Bing搜尋、微軟MSN、UC瀏覽器的Yisouspider等,均被明確禁止。

雖然360搜尋並未在封鎖清單中單獨列出,但百度百科的策略是全面禁止一切非白名單的爬蟲,因此360搜尋和其他搜尋引擎也在封鎖範圍內。

然而,這種策略對於那些有意繼續抓取內容的人來說,或許只能起到部分阻擋作用。仍有不少爬蟲可能會透過各種技術手段繼續獲取百度百科的內容,並將其用於AI訓練。

发表评论 取消回复
图片 链接