隨著人工智能(AI)技術(shù)的迅猛發(fā)展,越來越多的公司將其應(yīng)用于日常生活的各個方面。然而,這項技術(shù)的安全性與倫理問題也隨之引發(fā)了廣泛關(guān)注。最近,來自英特爾、博伊西州立大學(xué)和伊利諾伊大學(xué)的研究人員發(fā)現(xiàn),聊天機(jī)器人可能會在面對大量信息時被誤導(dǎo),進(jìn)而違反其安全規(guī)則。
這項研究提出了一種名為 “信息過載” 的新型攻擊方法,研究人員開發(fā)了一個名為 “InfoFlood” 的自動化系統(tǒng),利用這一方法來誘使大型語言模型(LLM)如 ChatGPT 和 Gemini 說出不該說的話。根據(jù)研究,傳統(tǒng)的防護(hù)措施主要依賴于識別特定的關(guān)鍵詞,但在面對信息轟炸時,模型可能會出現(xiàn)混亂,從而繞過這些防護(hù)。
研究團(tuán)隊解釋說,當(dāng)聊天機(jī)器人收到過量的信息時,它們可能會誤解用戶的意圖,導(dǎo)致錯誤的回答。這種方法通過創(chuàng)建一個標(biāo)準(zhǔn)化的提示模板,向 AI 模型施加更多信息,以達(dá)到干擾和混淆的效果。比如,當(dāng)模型拒絕回答某個問題時,InfoFlood 會在提示中添加虛假的引用或不相關(guān)的倫理聲明,從而使模型陷入困境。
更令人擔(dān)憂的是,這項技術(shù)的發(fā)現(xiàn)揭示了即使在設(shè)有安全過濾器的情況下,惡意用戶仍然可以通過信息過載的方式來操控模型,植入有害內(nèi)容。研究人員計劃將這一發(fā)現(xiàn)的報告發(fā)送給擁有大型 AI 模型的公司,提醒他們加強(qiáng)安全措施。
隨著技術(shù)的不斷進(jìn)步,如何在保護(hù)用戶的同時合理使用 AI,仍然是一個亟待解決的難題。研究者們希望通過這項研究,引發(fā)更多關(guān)于 AI 安全和倫理的討論,并促使技術(shù)公司采取更有效的防護(hù)措施。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。
海報生成中...
海藝AI的模型系統(tǒng)在國際市場上廣受好評,目前站內(nèi)累計模型數(shù)超過80萬個,涵蓋寫實、二次元、插畫、設(shè)計、攝影、風(fēng)格化圖像等多類型應(yīng)用場景,基本覆蓋所有主流創(chuàng)作風(fēng)格。
9月9日,國際權(quán)威市場調(diào)研機(jī)構(gòu)英富曼(Omdia)發(fā)布了《中國AI云市場,1H25》報告。中國AI云市場阿里云占比8%位列第一。
IDC今日發(fā)布的《全球智能家居清潔機(jī)器人設(shè)備市場季度跟蹤報告,2025年第二季度》顯示,上半年全球智能家居清潔機(jī)器人市場出貨1,2萬臺,同比增長33%,顯示出品類強(qiáng)勁的市場需求。