特斯聯(lián)邵嶺：以多模態(tài)統(tǒng)一空間模型打造空間智能

　　當(dāng)前，大模型技術(shù)正通過架構(gòu)革新與多模態(tài)融合，重構(gòu)空間智能發(fā)展的底層邏輯，推動其從實(shí)驗(yàn)室走向產(chǎn)業(yè)化應(yīng)用。傳統(tǒng)的人工智能方法關(guān)注處理結(jié)構(gòu)化數(shù)據(jù)和遵循預(yù)定義的規(guī)則。然而，空間智能的出現(xiàn)就是為了處理物理世界因多樣性、復(fù)雜性導(dǎo)致的更為細(xì)致的空間推理。通過空間智能，機(jī)器可以用類人的方式與周邊環(huán)境進(jìn)行3D立體互動，并進(jìn)行解讀；無可爭議的是深度學(xué)習(xí)模型已在各種計(jì)算機(jī)視覺任務(wù)中有了很多出眾的表現(xiàn)，但其面臨的挑戰(zhàn)，例如，怎樣集成多種數(shù)據(jù)類型并同時(shí)執(zhí)行復(fù)雜任務(wù)就顯得尤為突出。

　　我們與特斯聯(lián)國際總裁、特斯聯(lián)首席科學(xué)家、AI Lab負(fù)責(zé)人邵嶺博士，就空間智能及衍生話題，諸如多模態(tài)數(shù)據(jù)融合等進(jìn)行了探討。

　　邵嶺博士在人工智能領(lǐng)域有著數(shù)十年的前沿探索經(jīng)驗(yàn)。他表示，空間智能是人工智能和三維世界交互的能力，它通過感知、導(dǎo)航、操作、推理和環(huán)境生成等多種形式展現(xiàn)，并依賴于計(jì)算機(jī)視覺、深度學(xué)習(xí)、三維表示學(xué)習(xí)、多模態(tài)學(xué)習(xí)等多種算法和技術(shù)來實(shí)現(xiàn)，而特斯聯(lián)正在將所有的模態(tài)數(shù)據(jù)統(tǒng)一到同一個(gè)語義空間，結(jié)合大模型的預(yù)訓(xùn)練和強(qiáng)化學(xué)習(xí)技術(shù)，研發(fā)與用戶場景對齊的多模態(tài)融合空間智能大模型，并打造類人思考、長期記憶、個(gè)性化的AI智能體。

　　空間智能的實(shí)現(xiàn)依賴于多種算法以及包括計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)和機(jī)器人學(xué)等領(lǐng)域的技術(shù)。比如，空間智能的感知能力依賴于計(jì)算機(jī)視覺和深度學(xué)習(xí)，這是空間智能的基礎(chǔ)；空間理解方面，為了理解三維結(jié)構(gòu)，AI模型需要處理三維數(shù)據(jù)，依賴于三維表示學(xué)習(xí)來學(xué)習(xí)物體的幾何和拓?fù)浣Y(jié)構(gòu)；在空間智能的推理方面，為了理解圖像中的語義和空間上下文，并進(jìn)行空間推理，需要利用視覺-語言模型(VLMs)，強(qiáng)化學(xué)習(xí)(RL)技術(shù)；空間智能的執(zhí)行能力則依賴于具身智能和環(huán)境模擬，在模擬的三維環(huán)境中訓(xùn)練AI智能體，使其能夠?qū)W習(xí)導(dǎo)航和與環(huán)境交互。

　　邵嶺博士表示，空間智能是人工智能和三維世界交互的能力，它通過感知、導(dǎo)航、操作、推理和環(huán)境生成等多種形式展現(xiàn)，并依賴于計(jì)算機(jī)視覺、深度學(xué)習(xí)、三維表示學(xué)習(xí)、多模態(tài)學(xué)習(xí)等多種算法和技術(shù)來實(shí)現(xiàn)。在這些技術(shù)中，有的技術(shù)已經(jīng)發(fā)展多年相對成熟，有的學(xué)術(shù)和產(chǎn)業(yè)界才剛剛開展研究，還需要更多時(shí)間共同推進(jìn)和突破。

　　他透露，特斯聯(lián)在計(jì)算機(jī)視覺和深度學(xué)習(xí)、視覺-語言模型、強(qiáng)化學(xué)習(xí)、3D仿真、環(huán)境模擬等技術(shù)領(lǐng)域有多年的研發(fā)經(jīng)驗(yàn)和技術(shù)積累，相關(guān)技術(shù)已應(yīng)用于多個(gè)項(xiàng)目、解決方案和產(chǎn)品中。此外，依賴在行業(yè)數(shù)據(jù)理解、數(shù)據(jù)處理及多模態(tài)領(lǐng)域多年的研發(fā)經(jīng)驗(yàn)，他說，“我們正在研發(fā)AIoT領(lǐng)域的多模態(tài)空間智能大模型，融合多種端側(cè)設(shè)備采集的多源異構(gòu)數(shù)據(jù)，具有強(qiáng)大的空間感知、環(huán)境理解和因果推理能力，能夠直接從傳感器數(shù)據(jù)生成控制指令，從而實(shí)現(xiàn)更智能、更高效的場景決策和執(zhí)行方案?！?/p>

　　恰如吳志強(qiáng)院士所提到的，“智能的未來，不屬于一個(gè)中心。它屬于多重大腦、多類代理、多元視角的協(xié)同網(wǎng)絡(luò)?！鄙蹘X博士強(qiáng)調(diào)，如同在自然界一般，真正的智慧在多樣性與分布性中繁衍，AIoT基因則使特斯聯(lián)在多模態(tài)數(shù)據(jù)的采集沉淀、軟硬件一體化、場景理解、生態(tài)系統(tǒng)構(gòu)建等層面積累了一定的先發(fā)優(yōu)勢。

　　他透露，特斯聯(lián)廣泛部署的AIoT端側(cè)設(shè)備，為獲取海量、多樣化、細(xì)粒度的時(shí)空數(shù)據(jù)提供了有力支持，能有效減輕空間智能發(fā)展中的數(shù)據(jù)不足問題。一方面，部署在不同位置和空間的AIoT端側(cè)設(shè)備能夠捕捉到細(xì)致、實(shí)時(shí)、全方位的環(huán)境信息；另一方面，覆蓋多個(gè)區(qū)域和不同應(yīng)用場景的設(shè)備得以收集到更具多樣性的數(shù)據(jù)，這種多樣性有助于空間智能模型的魯棒性和泛化性。目前，基于端側(cè)AIoT產(chǎn)品，特斯聯(lián)已有能力采集、分析文本、視覺（圖像、視頻）、聲音、環(huán)境（溫度、濕度、光照、氣壓等）、位置（GIS坐標(biāo)）、生物、電信號等數(shù)十種模態(tài)的數(shù)據(jù)。

　　同時(shí)，特斯聯(lián)也在利用動態(tài)自適應(yīng)時(shí)序同步技術(shù)實(shí)現(xiàn)不同模態(tài)數(shù)據(jù)之間的對齊——將所有的模態(tài)數(shù)據(jù)統(tǒng)一到同一個(gè)語義空間，結(jié)合大模型的預(yù)訓(xùn)練和強(qiáng)化學(xué)習(xí)技術(shù)，打造與用戶場景對齊的多模態(tài)融合空間智能大模型。

　　特斯聯(lián)國際的下一步研發(fā)計(jì)劃，以滿足中東和海外市場需求為目標(biāo)，基于前期在行業(yè)市場中積累的數(shù)據(jù)、經(jīng)驗(yàn)和技術(shù)，打造系列專用的AI智能體，進(jìn)一步增強(qiáng)中國產(chǎn)品和解決方案在海外市場中的價(jià)值和競爭力——這包括研發(fā)面向移動終端（智能可穿戴設(shè)備、機(jī)器人等）的智能體HALI，以及應(yīng)用于智慧建筑、智慧園區(qū)和智慧能源的空間智能技術(shù)等。

　　短期內(nèi)，研發(fā)用于移動終端的AI智能體（HALI），為智能可穿戴設(shè)備和機(jī)器人等產(chǎn)品構(gòu)建類人思考、長期記憶、個(gè)性化等核心能力，進(jìn)一步提高這些產(chǎn)品的交互能力和智能水平，為個(gè)人和企業(yè)用戶帶來更高價(jià)值。

　　長期內(nèi)，從專用的AI智能體出發(fā)，逐步向通用智能體方向發(fā)展。探索高維空間智能、自主學(xué)習(xí)、及多智能體等核心技術(shù)，實(shí)現(xiàn)智能體對復(fù)雜行為和意圖的高級空間感知、理解和預(yù)測能力，并將這些技術(shù)能力應(yīng)用于廣泛場景，進(jìn)一步擴(kuò)大中國科技在全球產(chǎn)業(yè)鏈中的優(yōu)勢。

（文章來源：中國基金報(bào)）

(原標(biāo)題：特斯聯(lián)邵嶺：以多模態(tài)統(tǒng)一空間模型打造空間智能)

(責(zé)任編輯：65)