“給我生成一份審訊盜竊案件的筆錄提綱?！敝噶钶斎牍P記本電腦之后，DeepSeek 16B（160億參數(shù)版）在毫秒間生成了一份包含基本信息、案件概述、權(quán)利告知、事實(shí)調(diào)查、其他重點(diǎn)事項(xiàng)、筆錄確認(rèn)、注意事項(xiàng)等一級(jí)標(biāo)題，且每個(gè)一級(jí)標(biāo)題都包含3-5個(gè)二級(jí)標(biāo)題的筆錄提綱。這是記者在第12屆中國(guó)國(guó)際警用裝備博覽會(huì)的中星微展臺(tái)看到的一幕。

今時(shí)今日，用大模型生成提綱已經(jīng)是家常便飯，但這份筆錄提綱的特別之處在于：它是在筆記本電腦沒(méi)有聯(lián)網(wǎng)的情況下生成。這意味著160億參數(shù)的DeepSeek大模型，完全基于一枚嵌入在只有名片大小處理板的單芯片運(yùn)行。

單芯片脫網(wǎng)運(yùn)行DeepSeek 16B大模型生成審訊筆錄提綱

雖然聯(lián)網(wǎng)的大模型能夠基于云端的算力資源池實(shí)現(xiàn)更強(qiáng)大的功能，但也對(duì)計(jì)算和存儲(chǔ)成本、網(wǎng)絡(luò)條件有著較高的要求。而在城市感知、智能制造、智慧農(nóng)業(yè)、智能交通等行業(yè)場(chǎng)景中，存在大量成本低、硬件配置相對(duì)簡(jiǎn)單卻對(duì)千行百業(yè)的數(shù)智化升級(jí)起到關(guān)鍵作用的終端、邊緣設(shè)備，比如攝像頭、邊緣盒子、車(chē)路協(xié)同設(shè)備等。如果此類(lèi)設(shè)備能夠基于嵌入式芯片調(diào)用大模型能力，將對(duì)企業(yè)、行業(yè)場(chǎng)景的提質(zhì)增效起到關(guān)鍵作用。

此外，在機(jī)器人等涉及用戶(hù)個(gè)人信息采集的場(chǎng)景中，也需要嵌入式芯片搭配離線語(yǔ)言大模型，在保證機(jī)器人與用戶(hù)交互的同時(shí)，保護(hù)用戶(hù)的數(shù)據(jù)安全。

在嵌入式芯片運(yùn)行離線大模型

“嵌入式芯片和云端芯片的設(shè)計(jì)思路不太一樣。云端芯片追求極致的大算力，而前端嵌入式受到的制約條件非常多，能耗、發(fā)熱、成本都要考慮到。”中星微智能研發(fā)中心總工程師周學(xué)武向《中國(guó)電子報(bào)》記者表示。

當(dāng)前，嵌入式芯片能夠承載的大模型一般在70億參數(shù)規(guī)模。本次中星微展示的“星光智能五號(hào)”嵌入式AI芯片，能夠運(yùn)行160億參數(shù)版本的DeepSeek大模型。為了讓嵌入式芯片以盡可能高的效率處理多模態(tài)信息，中星微團(tuán)隊(duì)采用了多核異構(gòu)的芯片架構(gòu)，包括CPU、GPU、NPU，分別對(duì)應(yīng)標(biāo)量算力、矢量算力和張量算力。此外還有用于視頻編解碼的VPU、信息加解密的ECU，以及多核調(diào)度單元HCP（異構(gòu)計(jì)算池）。

周學(xué)武表示，之所以選擇這種架構(gòu)，是為了模擬大腦兼具形象思維和邏輯思維的特點(diǎn)。

其中，對(duì)形象思維的模擬是基于“直覺(jué)式”的端到端計(jì)算，比如NPU或GPU能夠直接輸出對(duì)圖片的識(shí)別結(jié)果。對(duì)于邏輯思維的模擬則主要基于CPU完成的“常識(shí)式”計(jì)算。

“把兩種計(jì)算融合在一起，可以實(shí)現(xiàn)更高精度的識(shí)別。因?yàn)镃PU的‘常識(shí)式’計(jì)算能夠?qū)赡墚a(chǎn)生的大模型幻覺(jué)進(jìn)行糾正。”周學(xué)武說(shuō)。

搭載“星光智能五號(hào)”XPU芯片的開(kāi)發(fā)板

另一個(gè)提升芯片運(yùn)行大模型能力的設(shè)計(jì)，在于HCP。這一系統(tǒng)能夠調(diào)動(dòng)芯片中的20多個(gè)核心，并根據(jù)用戶(hù)需求采用不同的策略調(diào)度算力，比如效率優(yōu)先原則或者算力均衡原則，以尋求在有限的條件下實(shí)現(xiàn)最佳的性能。

基于嵌入式芯片，終端可以在不聯(lián)網(wǎng)的情況下使用離線大模型，以滿(mǎn)足部分對(duì)信息安全有較高要求的場(chǎng)景，以及機(jī)器人等涉及用戶(hù)語(yǔ)音等個(gè)人數(shù)據(jù)的場(chǎng)景。

“未來(lái)5到10年，會(huì)有大量的機(jī)器人應(yīng)用嵌入式芯片。目前機(jī)器人的發(fā)展重點(diǎn)是運(yùn)動(dòng)控制，就是機(jī)器人怎么走得穩(wěn)、怎么行動(dòng)敏捷。但決策、思考能力，以及語(yǔ)音對(duì)話能力還需要通過(guò)網(wǎng)絡(luò)實(shí)現(xiàn)，要先采集用戶(hù)的語(yǔ)音，通過(guò)網(wǎng)絡(luò)傳到云端，云端給解析好了再傳回來(lái)形成指令。這存在實(shí)時(shí)性響應(yīng)和用戶(hù)隱私的問(wèn)題。如果基于嵌入式芯片構(gòu)建機(jī)器人大腦，就可以保護(hù)用戶(hù)數(shù)據(jù)，也能提升交互的實(shí)時(shí)性?！敝軐W(xué)武說(shuō)。

用2KB標(biāo)簽檢索幾萬(wàn)路攝像頭

行業(yè)場(chǎng)景中，攝像頭、工控盒子、車(chē)路協(xié)同設(shè)備等端、邊側(cè)終端，具有部署體量大、成本敏感、工作環(huán)境適應(yīng)性較強(qiáng)等特點(diǎn)。要讓此類(lèi)終端用上大模型，既需要輕量化、易部署的芯片，也需要做好算法的定制與數(shù)據(jù)鏈路的優(yōu)化。

在中星微展臺(tái)，記者看到了一個(gè)連接了筆記本電腦的攝像頭，在筆記本電腦搜索“戴安全帽的工人”，顯示屏立刻出現(xiàn)了兩天前展臺(tái)搭建時(shí)的施工畫(huà)面。這一過(guò)程是通過(guò)端（攝像頭）、邊（邊緣盒子）、云（云網(wǎng)絡(luò)和云平臺(tái)）協(xié)同完成。其中，端側(cè)和邊側(cè)除了部署中星微的嵌入式芯片，還部署了將視頻“切”成圖片再打上標(biāo)簽的算法。

搭載“萬(wàn)物識(shí)別”多模態(tài)大模型的終端攝像頭

具體來(lái)說(shuō)，對(duì)于攝像頭正在錄制或者錄好的存量視頻，首先抽取關(guān)鍵幀或者關(guān)鍵數(shù)據(jù)做成圖片，再根據(jù)矢量算法提取圖片的關(guān)鍵點(diǎn)，成為包含索引信息和特征向量的標(biāo)簽。

在這一過(guò)程中，1G的視頻可以抽取2M的關(guān)鍵幀圖片，2M的圖片再提取出2KB的標(biāo)簽，在用指令檢索時(shí)，端側(cè)和邊緣側(cè)終端會(huì)檢索出標(biāo)簽對(duì)應(yīng)的圖片，也就是在KB級(jí)的數(shù)據(jù)中搜索，從而顯著提升了搜索和解析效率。而搜索結(jié)果會(huì)發(fā)送給云端的大模型進(jìn)行核實(shí)比對(duì)。

“搜索到標(biāo)簽之后，能夠找到標(biāo)簽對(duì)應(yīng)的圖片，由于圖片屬性包含時(shí)間戳和相應(yīng)攝像機(jī)的IP位置，就能對(duì)應(yīng)出是哪路攝像機(jī)在哪個(gè)時(shí)間點(diǎn)拍到了目標(biāo)，并回溯到視頻，從而了解事件的前因后果。這樣就達(dá)到了高效快速的效果?！敝軐W(xué)武說(shuō)。他表示，在端邊預(yù)處理—發(fā)到云端比對(duì)—回傳端邊比對(duì)結(jié)果的過(guò)程中，大模型不斷訓(xùn)練、不斷學(xué)習(xí)，之后檢索結(jié)果會(huì)越來(lái)越準(zhǔn)確，更貼近用戶(hù)多樣化的檢索需求。