AI初創公司Perplexity被指控“隱形爬行”:Cloudflare揭露其規避網站訪問限制行為

　　Cloudflare發布報告稱，人工智能搜索初創公司 Perplexity涉嫌規避旨在阻止其網絡爬蟲訪問某些網站的限制。據Cloudflare透露，當其爬蟲遭遇阻擋時，Perplexity會通過隱藏身份的方式，試圖繞過網站的偏好設置，包括已在robots.txt文件中聲明的限制和Web應用程序防火墻(WAF)規則。

　　該指控加劇了外界對Perplexity未經授權獲取內容的擔憂。此前，Perplexity曾因強行突破付費墻和無視robots.txt文件而受到批評，但其首席執行官Aravind Srinivas當時將責任歸咎于第三方爬蟲。

　　為驗證客戶的投訴，Cloudflare設置了具有類似訪問限制的新域名進行測試。結果發現，Perplexity的爬蟲(最初名為“PerplexityBot”或“Perplexity-User”)在遭到阻斷后，會立即更改其用戶代理，偽裝成“在macOS上運行的Google Chrome”。Cloudflare稱，這種“未聲明的爬蟲”還使用輪換的IP地址和改變其自治系統網絡(ASN)來繞過封鎖。Cloudflare表示，其觀察到這種規避行為涉及“數萬個域名和每天數百萬個請求”。

　　作為回應，Perplexity發言人Jesse Dwyer在一份聲明中稱Cloudflare的報告是“炒作”，并表示其中存在“很多誤解”。盡管如此，Cloudflare已將Perplexity從其已驗證機器人名單中移除，并發布了阻止其“隱形爬行”的方法