蕭簫 發(fā)自 凹非寺

通往AGI的路究竟怎么走，微軟有了新想法——

基于ChatGPT這類大模型的強(qiáng)大理解能力，將輸入的任何信號拆解成一個(gè)個(gè)可完成的任務(wù)，交給其他的AI和程序完成。

簡單來說，就像是建了一座司令塔，每個(gè)大模型都能成為其中的“大腦”指揮官，其他專門解決某類任務(wù)的模型，則聽它調(diào)令——

這樣一來，不限定某個(gè)AI，所有大模型都能使用這套方法。

能解決什么問題？

人類只需要提需求，AI從自動做PPT、Word和Excel三件套（Office自動化），到驅(qū)動機(jī)器人完成各種智能任務(wù)，都能搞定。

這個(gè)最新的研究名叫TaskMatrix，據(jù)微軟表示，它能直接驅(qū)動數(shù)百萬個(gè)用于完成任務(wù)的AI和API。

論文還引用了OpenAI CEO奧特曼那句AI版摩爾定律：

宇宙中的智能數(shù)量每18個(gè)月翻一番。

一起來看看TaskMatrix是怎樣工作的。

AI“司令塔”如何工作？

這是TaskMatrix的整體工作流程：

從架構(gòu)圖來看，TaskMatrix可以被分為四部分：

• 多模態(tài)對話基礎(chǔ)模型（MCFM）：與用戶對話并了解需求，從而生成API可執(zhí)行代碼以完成特定任務(wù)
• API平臺：提供統(tǒng)一API格式，存儲數(shù)百萬個(gè)不同功能的API，允許擴(kuò)展和刪除API
• API選擇器：負(fù)責(zé)根據(jù)MCFM生成的內(nèi)容推薦API
• API執(zhí)行器：調(diào)用API并執(zhí)行生成代碼，給出結(jié)果

簡單來說，MCFM負(fù)責(zé)生成解決方案，API選擇器從API平臺中選取API，隨后API執(zhí)行器基于MCFM生成的代碼調(diào)用API，并解決任務(wù)。

其中，為了統(tǒng)一API管理，API平臺又給API統(tǒng)一了文檔格式，包含以下五個(gè)部分：

API名稱（提供API摘要，避免與其他API混淆），參數(shù)列表（包含輸入?yún)?shù)和返回值等），API描述（功能描述），組合指令（如何組合多個(gè)API完成復(fù)雜用戶指令）

例如這是“打開本地文件”API的文檔格式：

據(jù)微軟介紹，搭建TaskMatrix的原因，從學(xué)術(shù)角度來說主要有兩點(diǎn)。

其一，擴(kuò)大AI適用范圍，如通過擴(kuò)展API來提升可完成任務(wù)的類型和數(shù)量；其二，便于進(jìn)一步提升AI可解釋性，通過觀察AI分配任務(wù)的方式就能理解它的“思路”。

能完成什么任務(wù)了？

目前從已經(jīng)搭建好的TaskMatrix部分來看，它能完成的任務(wù)已經(jīng)非常廣泛。

小到文字、圖像信息的基礎(chǔ)信息處理，大到控制機(jī)器人平臺、接入物聯(lián)網(wǎng)這種通用平臺任務(wù)，TaskMatrix都能搞定。

先來看看圖像處理任務(wù)。

TaskMatrix解讀用戶想要完成的任務(wù)后，就能通過對話的方式，搞定PS（把老人背景P成白的）、解讀圖像、文生圖、草圖轉(zhuǎn)真實(shí)圖像、摳圖等一系列現(xiàn)實(shí)生活中常見的圖像處理操作：

如果說這些都還太常見，基于TextMatrix還能搞定真·圖像擴(kuò)展，基于一小角擴(kuò)展到一整張圖的那種，而不僅僅是采用平鋪的方式。例如輸入一朵花：

輸出一片花田：

再來看看文字處理任務(wù)。

以往需要手動改AI寫過的方案，如今直接將問題拋給AI，它就能完成，例如具體修改某個(gè)特定的步驟。

（像不像被甲方一點(diǎn)點(diǎn)催改文件的樣子？只是如今你變成了甲方）

以后生成文章，就是連插圖都配好的那種：

當(dāng)然，既然是微軟的研究，少不了調(diào)用Office系列的API，包括做PPT這種活，如今交給AI來做就行：

再進(jìn)一步到通用任務(wù)上，之前一直存在瓶頸的機(jī)器人和物聯(lián)網(wǎng)等平臺，如今TaskMatrix也給出了解決通用任務(wù)的方案。

家里接入AI后，和它對話就能完成你想要的各種瑣碎任務(wù)，包括定鬧鐘、查看天氣等：

屬實(shí)是解放人類生產(chǎn)力了。

你想好把它用在哪里了嗎？

論文地址：

— 完 —

量子位 QbitAI · 頭條號簽約