科技媒體The Decoder報道,谷歌于5月26日發(fā)布開源框架LMEval,旨在解決大語言模型和多模態(tài)模型評測標準不統(tǒng)一的難題。
該框架通過標準化基準設(shè)置,簡化了跨模型比較流程,并借助LiteLLM兼容Google、OpenAI等主流平臺的接口差異,實現(xiàn)無縫測試。
LMEval支持文本、圖像及代碼等多領(lǐng)域評測,可識別模型規(guī)避風(fēng)險內(nèi)容的策略,并引入Giskard安全評分量化防護能力。測試數(shù)據(jù)存儲于本地加密數(shù)據(jù)庫,兼顧隱私與效率。其增量評估和多線程引擎設(shè)計顯著降低計算成本,而LMEvalboard可視化工具則通過雷達圖直觀展示模型性能差異,助力開發(fā)者精準優(yōu)化。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。
海報生成中...
海藝AI的模型系統(tǒng)在國際市場上廣受好評,目前站內(nèi)累計模型數(shù)超過80萬個,涵蓋寫實、二次元、插畫、設(shè)計、攝影、風(fēng)格化圖像等多類型應(yīng)用場景,基本覆蓋所有主流創(chuàng)作風(fēng)格。
9月9日,國際權(quán)威市場調(diào)研機構(gòu)英富曼(Omdia)發(fā)布了《中國AI云市場,1H25》報告。中國AI云市場阿里云占比8%位列第一。
IDC今日發(fā)布的《全球智能家居清潔機器人設(shè)備市場季度跟蹤報告,2025年第二季度》顯示,上半年全球智能家居清潔機器人市場出貨1,2萬臺,同比增長33%,顯示出品類強勁的市場需求。