隨著ChatGPT、Midjourney等大模型產品的影響力、應用場景越來越多，為了確保輸出的內容安全、可靠，對齊成為開發人員的關注重點和難點。

　　但現在的模型參數少則幾百億多則上千億，想通過傳統的監督式微調方法來完成對齊效果往往不理想。

　　因此，英偉達的研究人員開源了安全對齊框架NeMo-Aligner。這是一個包括人類反饋進行強化學習(RLHF)、直接偏好優化(DPO)、SteerLM和自我對弈微調等技術合集，可幫助開發人員極大提升模型的安全性能和穩定輸出。

　　下面為大家介紹兩個效果比較好、常用的NeMo-Aligner對齊方法。

　　RLHF

　　RLHF是NeMo-Aligner框架的核心模塊之一，主要通過人類反饋來引導大模型學習，使其輸出更符合人類的價值觀和偏好，同時采用了近端策略算法(PPO)來優化語言模型的行為。

　　訓練過程主要分為三個階段:初始階段，從預訓練的基礎模型開始，進行監督微調。在監督微調中，使用輸入提示和期望的回復對基礎模型的參數進行更新，使其盡可能地模仿期望的回復。這一階段是為了確保基礎模型能夠生成符合用戶指令的回復。

　　獎勵模型訓練階段，使用一組設定好的人類偏好數據，例如，問答的特定輸出格式，來訓練一個獎勵模型，以最大化預測獎勵與人類偏好一致的可能性。通常，會在監督微調的模型之上初始化一個線性獎勵模型頭部，并在其上進行訓練。

　　策略優化訓練，基于訓練好的獎勵模型，通過PPO進行優化訓練。在訓練過程中，使用基于KL散度的正則化項，防止策略偏離起始點太遠并利用獎勵模型的盲點。

　　SteerLM

　　SteerLM主要通過引導大模型的生成流程來實現安全對齊，使用了一種“引導信號”的指導策略。可將開發者希望的輸出模式注入到模型的訓練中，以引導模型生成更符合預期的響應。

　　首先，需要準備一個包含輸入提示和期望輸出的數據集對。這些輸入提示可以是用戶提供的指令或問題，而期望輸出是模型生成的響應。

　　根據輸入提示和期望輸出，生成引導信號。引導信號可以采用不同的方式生成，例如，使用規則、基于規則的策略或者其他的啟發式方法，可以控制生成文本的風格、主題、情感等內容。

　　例如，在多輪AI對話中，可以指導模型生成符合用戶期望的回答;在文本摘要任務中，可以指導模型生成更加準確和有信息量的摘要內容;在機器翻譯任務中，可以使模型生成更加準確和流暢的翻譯結果。