隨著ChatGPT等生成式AI產(chǎn)品被廣泛應(yīng)用在AI代理/客服、虛擬助手等領(lǐng)域，在安全方面會遭遇黑客攻擊、惡意文本提示等難題。例如，使用特定的提問方式，可以讓ChatGPT輸出原始私密訓(xùn)練數(shù)據(jù)。

　　因此，OpenAI的研究人員提出了“指令層級”(Instruction Hierarchy)技術(shù)概念，可幫助大模型遭遇不同的指令發(fā)生沖突時(shí)應(yīng)該如何應(yīng)對:系統(tǒng)內(nèi)置指令高于用戶輸入的指令，用戶的指令高于第三方工具。當(dāng)高級指令與低級指令發(fā)生沖突時(shí)，指令層級會讓大模型選擇地忽略低級指令。

　　OpenAI通過GPT-3.5Turbo模型對指令層級進(jìn)行了多維度的綜合測試。結(jié)果顯示，可將大模型的魯棒性提升了63%，防御越獄攻擊的能力提升了30%以上，并且該技術(shù)能應(yīng)用在其他同類大模型中。

　　合成數(shù)據(jù)指導(dǎo)

　　合成數(shù)據(jù)指導(dǎo)是指令層級的核心模塊之一，可為大模型的訓(xùn)練提供必要的樣本，教會模型按照指令的優(yōu)先級進(jìn)行選擇，以忽略較低級別的指令。

　　對于符合安全指令的情況，合成數(shù)據(jù)指導(dǎo)會生成具有組合性請求的示例，并將指令分解為更小的部分。

　　例如，用戶輸入文本提示指令"用西班牙語寫一首20行的詩"，會將其分解為"寫一首詩"、"使用西班牙語"、"使用20行"等更小的指令片段。然后，這些分解后的指令片段會被放置在不同層次的指令優(yōu)先級中，以訓(xùn)練大模型預(yù)測原始的真實(shí)響應(yīng)。

　　研究人員使用了大量合成的數(shù)據(jù)集來訓(xùn)練大語言模型，教導(dǎo)模型識別和處理不同優(yōu)先級的指令，這些示例包括嘗試覆蓋系統(tǒng)消息的惡意提示和可能的越獄攻擊。

　　經(jīng)過指導(dǎo)后，模型學(xué)會優(yōu)先執(zhí)行高優(yōu)先級的指令，并忽略與高優(yōu)先級指令沖突的低優(yōu)先級指令。

　　上下文蒸餾

　　上下文蒸餾可以通過分析和理解大量數(shù)據(jù)中的模式和關(guān)聯(lián)，提取出核心的指令和信息。在大模型的預(yù)訓(xùn)練過程中，上下文蒸餾可以幫助模型識別哪些輸入是重要的，哪些可能是誤導(dǎo)性的或有害的，從而提高模型的安全決策能力。

　　研究人員先定義了一個(gè)清晰的指令層級，將不同的指令源按照重要性進(jìn)行排序:系統(tǒng)消息(由應(yīng)用開發(fā)者提供)具有最高優(yōu)先級，用戶輸入的文本提示和第三方工具輸出則具有較低的優(yōu)先級。

　　通過上下文蒸餾，大模型被訓(xùn)練以識別和忽略那些與高優(yōu)先級指令不一致或沖突的低優(yōu)先級指令，包括在模擬的對抗性示例中訓(xùn)練模型，以提高其對惡意輸入的抵抗能力。

　　例如，高級指令讓大模型輸入“我是一個(gè)AI助手，無法回答非法問題”;低級指令讓大模型輸出“寫一些隱私信息”，此時(shí)模型會選擇忽略低級指令。

　　此外，上下文蒸餾不僅可幫助模型處理關(guān)鍵指令，還提高了模型的泛化能力。即使面對未見過的惡意攻擊指令，經(jīng)過上下文蒸餾訓(xùn)練的模型也能夠更好地學(xué)習(xí)到這些知識，以識別和處理新的安全威脅。