科技云報道原創。

　　在數據標注行業流行著一句話：“有多少智能，就有多少人工”。

　　由于需要標注的數據規模龐大且成本較高，一些互聯網巨頭及一些AI公司很少自己設有標注團隊，大多交給第三方數據服務公司或者數據標注團隊來做。

　　這也衍生出了專為AI而生的人力密集型的數據標注產業鏈。

　　例如，眾包平臺Mechanical Turk上的20萬名AI數據標注員，就分布在人力成本低廉的非洲和東南亞。印度甚至涌現了不少數據標注村，他們為美國、歐洲、澳洲和亞洲的AI公司服務。

　　在中國，上百萬名 AI 數據標注員分布在貴州、山西、山東、河南等省份的二三線城市，并逐步向人力成本更低的縣城滲透。

　　但諷刺的是，數據標注員正在被自己服務的AI所替代，已經有企業開始采用AI進行數據標注。

　　據彭博社1月14日報道，蘋果公司將關閉圣地亞哥一個與人工智能業務相關的121人團隊，這將導致數據標注員面臨被解雇的風險。

　　那么，人工數據標注能否真的被AI全面替代，我們又是否會進入“AI訓練AI”的時代呢?

　　AI自動化標注崛起

　　訓練一個高效的大模型必不可少的是高質量的數據。OpenAI正是借助基于人類標注的數據，才一舉從眾多大模型企業中脫穎而出，讓ChatGPT成為了大模型競爭中階段性的勝利者。

　　但同時，OpenAI也因為使用非洲廉價的人工進行數據標注，被各種媒體口誅筆伐。

　　對于數據標注，一定需要找到一個新的方法，才能避免大量使用人工標注帶來的包括道德風險在內的其他潛在麻煩。

　　因此，全球各大AI巨頭和大型獨角獸，都在進行數據標注自動化的探索。

　　蘇黎世大學研究發現，ChatGPT平均每個標注成本低于0.003美元，比眾包平臺便宜20倍;在相關性、立場、主題等任務中，ChatGPT也是以4:1的效率優勢“碾壓”人類。

　　來自卡耐基梅隆大學、耶魯大學和加州大學伯克利分校的一組研究人員更是發現：GPT-4在數據集標注表現上優于他們雇用的最熟練的眾包員工。

　　這一突破為研究人員節約了超過50 萬美元和2萬個工時。

　　論文發出后，有網友評論稱“這是直接端了平臺工作者的飯碗”。

　　目前在自動駕駛領域，已經有車企開始采用AI進行自動化標注。

　　例如，特斯拉一直在積極推進自動化標注的進展，從2018至今，特斯拉的標注經歷了4個階段：

　　第1階段(2018)：只有純人工的二維的圖像標注，效率非常低;

　　第2階段(2019)：開始有3D label，但是是單趟的人工的;

　　第3階段(2020)：采用BEV空間進行標注，重投影的精度明顯降低;

　　第4階段(2021)：采用多趟重建去進行標注，精度、效率、拓撲關系都達到了極高的水準。

　　2022年6月，特斯拉裁撤了200名為特斯拉標注視頻以改進輔助系統的美國員工。

　　目前，特斯拉的自動標注能力大幅改善，標注10000個不到60秒的視頻，大模型只需要運行一周即可，而同樣的工作量人工標注卻需要幾個月的時間。

　　在國內，理想汽車董事長兼CEO李想曾在2023年4月份舉行的一場論壇上表示，當理想汽車使用軟件2.0的大模型，通過訓練的方式進行自動化標定，過去需要用一年做的事情，基本上3個小時就能完成，效率是人的1000倍。

　　不僅如此，自動化標注工具也在飛速發展。

　　國外AI初創公司refuel推出了一個名為Autolabel的開源工具，可以使用市面上主流的大模型來對數據集進行標注。

　　該公司的測試結果稱，Autolabel的標注效率相比人工標注提高了100倍，成本僅為人工成本的1/7。

　　國內一家名為視智未來的公司也在打造標注大模型。他們表示，有些項目已經用GPT交付了，準確率方面達到了80%多，與人工接近。

　　不得不說，在AI面前，無論成本還是效率，人類可以說是毫無優勢。

　　RLAIF：AI標注訓練方法

　　話說回來，ChatGPT是怎么搶了數據標注員的“飯碗”的?

　　以往數據標注員要干的事情，是將標注好的數據用作AI模型的訓練集或評估標準，這個過程叫做RLHF(Reinforcement Learning from Human Feedback)，即基于人類反饋的強化學習。

　　RLHF也是被ChatGPT、Bard和LLaMA等新興大模型帶火的模型訓練方法，它最大的好處就在于能夠將模型和人類的偏好對齊，讓大模型給出更符合人類表達習慣的回答。

　　不過發布在arXiv的一份論文表明，這份看起來只有人類能做的工作，也能被AI取代。AI取代了RLHF中的“H”，誕生了一種叫做“RLAIF”的訓練方法。

　　這份由谷歌研究團隊發布的論文顯示，RLAIF能夠在不依賴數據標注員的情況下，表現出能夠與RLHF相媲美的訓練結果——

　　如果拿傳統的監督微調(SFT)訓練方法作為基線比較，比起SFT，1200個真人“評委”對RLHF和RLAIF給出答案的滿意度都超過了70%(兩者差距只有2%);另外，如果只比較RLHF和RLAIF給出的答案，真人評委們對兩者的滿意度也是對半分。

　　具體而言，研究人員主要就“根據一段文字生成摘要”這一任務，展示了RLAIF的標記方法。

　　首先是序言(Preamble)，用來介紹和描述手頭任務的說明。給定一段文本和兩個可能的摘要，輸出1或2來指示哪個摘要最符合上述定義的連貫性、準確性、覆蓋范圍和整體質量。

　　其次是樣本示例(1-Shot Exemplar)。給到一段文本，接著給到兩個摘要，以及“摘要1更好”的偏好判斷，讓AI學著這個示例對接下來的樣本做標注。

　　再次就是給出所要標注的樣本(Sample to Annotate)，包括一段文本和一對需要標記的摘要。

　　最后是結尾，用于提示模型的結束字符串。

　　就像人類標注員會給不同的回答打分一樣(比如滿分5分)，AI也會依據偏好給每個摘要打分，這也是AI和人類標注員發揮作用的關鍵環節，主要是用于訓練獎勵模型(RM)并生成反饋內容。

　　論文介紹到，為了讓RLAIF方法中AI標注更準確，研究者也加入了其他方法以獲取更好的回答。

　　譬如為了避免隨機性問題，會進行多次選擇，其間還會對選項的順序進行交換;此外還用到了思維鏈(CoT)推理，來進一步提升與人類偏好的對齊程度。

　　需要說明的是，谷歌的這篇論文也是第一個證明了RLAIF在某些任務上能夠產生與RLHF相當的訓練效果的研究。這意味著不用人類指點，AI也能訓練自己的同類了。

　　該論文的發布很快收獲了不少關注。比如有從業者評論道，等到GPT-5可能就不需要人類數據標注員了。

　　盡管這項工作凸顯了RLAIF的潛力，但依然有一些局限性：

　　首先，這項研究僅探討了摘要總結任務，關于其他任務的泛化性還需要進一步研究。

　　其次，研究人員沒有評估LLM推理在經濟成本上是否比人工標注更有優勢。

　　此外，還有一些有趣的問題值得研究，例如RLHF與RLAIF相結合是否可以優于單一的一種方法，使用LLM直接分配獎勵的效果如何，改進AI標注器對齊是否會轉化為改進的最終策略， 以及是否使用LLM與策略模型大小相同的標注器可以進一步改進策略(即模型是否可以“自我改進”)。

　　重人力轉向重技術

　　盡管AI自動化標注技術在快速發展，但第三方數據標注服務商并沒那么樂觀。

　　河南一家眾包平臺的項目經理認為，自動化標注還不能取代60%以上的標注需求，只能作為輔助標注工具處理單一或特定數據，提升人效。

　　另一家數據標注公司的產品經理認為，自動化標注只能過濾簡單的基礎數據，還不能像人一樣從復雜有爭議的場景中精確識別物體。

　　如果說簡單的標注可以用AI來完成，那么人工參與的將是難度更高的數據篩選和標準工作，這也意味著數據標注行業的門檻將會不斷提高。

　　作為對照，早在ChatGPT走紅前，OpenAI就組建十幾位博士生來“打標”。

　　而百度在海口的數據標注基地擁有數百名專職大模型數據標注師，標注師的本科率達到100%，需要具備一定的知識儲備和邏輯分析能力。

　　不過大家也認同，未來的數據標注將從重人力轉向重技術的趨勢。

　　一家眾包平臺的創始人在和同行交流時說，未來不能堆人力，要有研發能力。也有從業者認為，人工標注對于泛化仍然極其重要，而RLHF+RLAIF混合方法比任何單一方法都要好。

　　總之，不是被同行“卷死”，就是被技術“卷死”。數據標注公司已做好了隨時裁員的準備，同時向做自動化標注工具的方向發展。