近期，蘋果悄悄放出一條不起眼的消息：其研發(fā)部門發(fā)布了一篇題為《閃存中的大型語(yǔ)言模型：在有限內(nèi)存下高效的大型語(yǔ)言模型推理》的論文。冗長(zhǎng)的標(biāo)題下，掩藏著大模型落地端側(cè)的技術(shù)亮點(diǎn)。業(yè)內(nèi)人士紛紛猜測(cè)：在“AIGC元年”里始終保持著沉默的蘋果，是否終于要在大模型領(lǐng)域出手了？

蘋果大模型“浮出水面”？

近年來(lái)，在新技術(shù)方面的“后發(fā)先至”已經(jīng)成為了蘋果身上的獨(dú)特標(biāo)簽：不是行業(yè)首發(fā)，卻能憑借更加優(yōu)越的技術(shù)能力、設(shè)計(jì)理念與生態(tài)體系重新定義產(chǎn)品甚至整個(gè)產(chǎn)業(yè)生態(tài)。這一特質(zhì)早在iPhone、Macbook等系列產(chǎn)品上就有所顯現(xiàn)，去年6月發(fā)布的MR頭顯初次進(jìn)入人們視野之時(shí)，更是蘋果“后發(fā)制人”的高光時(shí)刻。

基于此，雖然蘋果始終對(duì)百舸爭(zhēng)流的大模型保持緘默，業(yè)內(nèi)卻認(rèn)為蘋果在暗自“憋大招”。多位業(yè)內(nèi)專家對(duì)《中國(guó)電子報(bào)》記者表示，在大模型領(lǐng)域，蘋果手握“門票”卻遲遲沒(méi)有“入場(chǎng)”，或許也是其“后發(fā)制人”習(xí)慣的延續(xù)。

這也解釋了為何蘋果在大模型方面的任何風(fēng)吹草動(dòng)，都格外引人注目。去年7月，首次傳出蘋果暗中測(cè)試大模型工具“Ajax”，并推出代號(hào)為“Apple GPT”的內(nèi)部聊天機(jī)器人的消息。人們紛紛猜測(cè)，“Apple GPT”將為蘋果的人工智能助手Siri帶來(lái)革命性的升級(jí)。然而，這一猜測(cè)迄今尚未成為現(xiàn)實(shí)，“Apple GPT”最廣為大眾接受的解釋落定為“工作人員在開(kāi)發(fā)層面開(kāi)始使用能夠適配蘋果系統(tǒng)的人工智能工具”。

去年11月，踏著“AIGC元年”的尾聲，蘋果悄然推出一款名為Ferret的開(kāi)源多模態(tài)大語(yǔ)言模型。據(jù)了解，這款大模型擁有70億和130億兩個(gè)參數(shù)版本，從測(cè)試結(jié)果上看，其圖像處理技術(shù)走在行業(yè)前列。然而，這款大模型由于僅面向研究機(jī)構(gòu)開(kāi)放，最終并沒(méi)有走入大眾視野。

圖說(shuō)：蘋果發(fā)布Ferret大模型，圖像處理能力優(yōu)越

去年12月，隨著上述論文的發(fā)布，“蘋果大模型”再次被推上風(fēng)口浪尖。略過(guò)晦澀的文字表述和復(fù)雜的技術(shù)原理，論文的結(jié)論是：大參數(shù)模型，終于有望在“內(nèi)存有限”的端側(cè)設(shè)備中落地了。

蘋果大模型另辟蹊徑

大語(yǔ)言模型要實(shí)現(xiàn)普及，落地智能手機(jī)是一條必經(jīng)之路。當(dāng)下，榮耀、Vivo、OPPO、小米、華為等智能手機(jī)廠商紛紛推出“大模型手機(jī)”，大模型在手機(jī)終端的適配與落地已成大勢(shì)所趨。

然而，訓(xùn)練參數(shù)大、體量龐大、難以部署在端側(cè)離線使用，是大模型“走入用戶掌心”的一大難題。記者了解到，在當(dāng)下主流智能手機(jī)市場(chǎng)，16GB運(yùn)存是較為廣泛的終端配置，這樣的運(yùn)存處理手機(jī)日常運(yùn)行綽綽有余，但要實(shí)現(xiàn)模型的加載與數(shù)據(jù)分析，就顯得捉襟見(jiàn)肘。

為此，谷歌、Meta、微軟等頭部企業(yè)均選擇了“讓模型適應(yīng)終端”的路線，紛紛推出了訓(xùn)練參數(shù)更少、體量更小的“小模型”。以微軟為例，去年12月，微軟正式發(fā)布了參數(shù)規(guī)模僅有27億的“小模型”Phi-2，并宣稱該模型性能夠“吊打”體量在其25倍以上的大模型。

圖說(shuō)：微軟CEO Satya Nadella在微軟Ignite 2023現(xiàn)場(chǎng)發(fā)布Phi-2

而面對(duì)著這條“卷起來(lái)”的“小模型”之路，蘋果卻另辟蹊徑，首次提出利用閃存技術(shù)創(chuàng)新來(lái)突破大模型端側(cè)部署的難點(diǎn)的概念。蘋果發(fā)布的論文指出，利用其創(chuàng)新的閃存技術(shù)，可以讓模型的運(yùn)行規(guī)模達(dá)到iPhone 可用內(nèi)存的兩倍。在該技術(shù)的加持之下，大模型的推理速度在Apple M1 Max CPU 上提高了4-5 倍，在GPU 上提高了20-25 倍?！斑@一突破對(duì)于在資源有限的環(huán)境中部署先進(jìn)的大語(yǔ)言模型至關(guān)重要，極大地?cái)U(kuò)展了它們的適用性和可訪問(wèn)性?！毖芯咳藛T寫道。

具體而言，論文中提到了兩種關(guān)鍵技術(shù)：一是“窗口化”技術(shù)，允許模型重復(fù)使用部分已處理的數(shù)據(jù)，從而減少頻繁讀取內(nèi)存的需要，提高大模型運(yùn)行效率；二是“行-列捆綁”技術(shù)，通過(guò)對(duì)數(shù)據(jù)進(jìn)行更有效的分組，令大模型能夠更快地從閃存中讀取數(shù)據(jù)，從而加速AI 理解和生成語(yǔ)言的能力。

圖說(shuō)：圖解兩項(xiàng)核心技術(shù)

從論文內(nèi)容看，大模型在端側(cè)的部署難題似乎可以迎刃而解。但也有業(yè)內(nèi)專家指出，閃存技術(shù)仍有“漏洞”，離實(shí)際應(yīng)用尚有距離。專家表示，閃存技術(shù)可用的核心假設(shè)是大模型所處理的相鄰數(shù)據(jù)前后具有相似性，但論文中蘋果并未對(duì)這一必要條件展開(kāi)論證。閃存技術(shù)能否成為大模型端側(cè)部署的“轉(zhuǎn)折點(diǎn)”，還有待驗(yàn)證。

蘋果大模型蓄勢(shì)待發(fā)

蘋果公司CEO庫(kù)克曾說(shuō)過(guò)：“蘋果有計(jì)劃在更多產(chǎn)品中加入AI，但要‘深思熟慮’”。

過(guò)去一年，蘋果雖未對(duì)“AI”大書特書，但卻處處可見(jiàn)AI的影子。在2023蘋果全球開(kāi)發(fā)者大會(huì)上，庫(kù)克始終強(qiáng)調(diào)ML（機(jī)器學(xué)習(xí)）概念，稱無(wú)論是硬件領(lǐng)域還是軟件領(lǐng)域，蘋果都早已為ML做足了準(zhǔn)備。一方面，蘋果最新推出的M2 Ultra芯片可以負(fù)擔(dān)大規(guī)模ML的性能需求，在某些場(chǎng)景和需求下甚至可以部分替代獨(dú)立圖形處理器；另一方面，從系統(tǒng)到軟件，蘋果將ML的應(yīng)用重點(diǎn)放在提升用戶體驗(yàn)上。比如iOS17輸入法方面的更新，其本質(zhì)就是大語(yǔ)言模型的應(yīng)用。

在技術(shù)層面的準(zhǔn)備之外，蘋果在內(nèi)容方面也逐漸開(kāi)始了動(dòng)作。去年12月，有消息傳出，蘋果正就“價(jià)值至少5000萬(wàn)美元的多年期合作協(xié)議”展開(kāi)討論，并與康泰納仕、NBC新聞和IAC等媒體接洽，獲取他們過(guò)往新聞文章的使用授權(quán)，以作大模型訓(xùn)練之用。相比同期微軟、OpenAI被紐約時(shí)報(bào)因版權(quán)原因起訴的尷尬，蘋果的這筆“版權(quán)投資”更顯示了其在內(nèi)容生成領(lǐng)域的計(jì)劃性。

圖說(shuō)：OpenAI被紐約時(shí)報(bào)因侵權(quán)問(wèn)題起訴

硬件準(zhǔn)備方面，香港海通國(guó)際證券分析師Jeff Pu發(fā)布報(bào)告稱，2023年蘋果可能已經(jīng)建造了幾百臺(tái)AI服務(wù)器，而這個(gè)數(shù)量在2024年還將顯著增加。他還指出，蘋果計(jì)劃最早于2024年末在iPhone和iPad上采用生成式AI技術(shù)。這意味著，如果該計(jì)劃得以實(shí)現(xiàn)，用戶有望在于2024年末發(fā)售的下一代的iPhone和iPad上親身體驗(yàn)蘋果大模型。