2 月 17 日消息，微軟 OmniParser 是一款基于純視覺(jué)的 GUI 智能體解析和識(shí)別屏幕上可交互圖標(biāo)的 AI 工具，此前搭配 GPT-4V 可顯著增強(qiáng)識(shí)別能力。

　　2 月 12 日，微軟在官網(wǎng)發(fā)布了 OmniParser 最新版本 V2.0，可將 OpenAI(4o / o1 / o3-mini)、DeepSeek(R1)、Qwen(2.5VL)和 Anthropic(Sonnet)等模型，變成可以操控計(jì)算機(jī)的 AI 智能體。

　　與 V1 版本相比，OmniParser V2 使用了更大規(guī)模的交互元素檢測(cè)數(shù)據(jù)和圖標(biāo)功能標(biāo)題數(shù)據(jù)進(jìn)行了訓(xùn)練，在檢測(cè)較小的可交互 UI 元素時(shí)準(zhǔn)確率更高、推理速度更快，延遲降低了 60%。

　　在高分辨率 Agent 基準(zhǔn)測(cè)試 ScreenSpot Pro 中，V2+GPT-4o 的準(zhǔn)確率達(dá)到了 39.6%，而 GPT-4o 原始準(zhǔn)確率只有 0.8%。

　　為了能夠更快地實(shí)驗(yàn)不同的智能體設(shè)置，微軟還開(kāi)源了 OmniTool，這是一個(gè)集成了智能體所需一系列基本工具的 Docker 化 Windows 系統(tǒng)，涵蓋屏幕理解、定位、動(dòng)作規(guī)劃和執(zhí)行等功能，也是將大模型變成智能體的關(guān)鍵工具。