文 | 曾響鈴
來源 | 科技向令說(xiangling0815)
用文字描述“一個女人打著紅色的雨傘在路上走”,系統(tǒng)呈現(xiàn)出一張唯美的街拍;
有一張飛機(jī)起飛的照片,想配上一段適合的聲音,上傳圖片后,一段發(fā)動機(jī)呼嘯聲的音頻播放出來;
把淅淅瀝瀝的下雨聲導(dǎo)入進(jìn)去,江南水鄉(xiāng)老宅的氤氳雨景圖展現(xiàn)在了眼前……
這些,是已經(jīng)實(shí)現(xiàn)了的多模態(tài)AI應(yīng)用,橫貫文字、圖像、語音,在初級應(yīng)用功能上就已經(jīng)展現(xiàn)出相比單模態(tài)更智能、更自然、更多樣化的魅力,其前景被普遍關(guān)注,只不過很長一段時(shí)間以來,多模態(tài)的發(fā)展速度一直不算快。
現(xiàn)在,事情正在發(fā)生變化。
在華為全聯(lián)接2021期間,中國科學(xué)技術(shù)信息研究所、AITISA(新一代人工智能產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟)和鵬城實(shí)驗(yàn)室聯(lián)合了發(fā)布《人工智能計(jì)算中心發(fā)展白皮書2.0——從人工智能計(jì)算中心走向人工智能算力網(wǎng)絡(luò)》,其中明確提到了以“大算力+大數(shù)據(jù)”使能大模型(多模態(tài)多樣化的能力一般都由大模型才能更好的實(shí)現(xiàn),或者說多模態(tài)的形式表現(xiàn)為大模型)。會上,中國科學(xué)院自動化研究所發(fā)布了全球首個三模態(tài)大模型紫東.太初,這無疑讓多模態(tài)的發(fā)展進(jìn)入了一個全新的落地階段。
多模態(tài)大模型,正在與人工智能算力網(wǎng)絡(luò)互相促進(jìn),成為彼此的最佳伴行者。
多重因素下,多模態(tài)大模型已成大勢所趨
隨著AI的技術(shù)和產(chǎn)業(yè)發(fā)展逐步走向深入,多模態(tài)大模型的趨勢十分明朗,這主要表現(xiàn)在三個方面:
首先,是AI自身的能力進(jìn)化要求。
在單模態(tài)領(lǐng)域,例如歸屬NLP的跨語種翻譯這類應(yīng)用,機(jī)器可以說早已超越人類,實(shí)現(xiàn)了重要的技術(shù)和產(chǎn)業(yè)價(jià)值,如果要進(jìn)一步往前走,多模態(tài)自然而然就成為AI技術(shù)和產(chǎn)業(yè)突圍的新方向。與此同時(shí),單模態(tài)本身也面臨“知識冰山”的瓶頸問題,進(jìn)一步智能化也需要大模型來支撐,例如對“老王去吃食堂”的理解,單純的文字?jǐn)?shù)據(jù)很難讓AI辨別“吃食堂”不是把食堂吃掉而是“到食堂吃飯”,但一張場景圖片或視頻就可以很容易解釋清楚并關(guān)聯(lián)起來。
然后,是“數(shù)據(jù)”供給的要求。
數(shù)據(jù)是AI發(fā)展的根本、是AI的“食物”,在全球范圍內(nèi),包括中國市場上,互聯(lián)網(wǎng)的出現(xiàn)幫助AI模型訓(xùn)練的數(shù)據(jù)量越來越龐大,它們讓AI得到了快速的能量補(bǔ)充。
然而,目前互聯(lián)網(wǎng)音視頻數(shù)據(jù)高速增長,占比超過80%,單一數(shù)據(jù)類型例如文本只占不多的比例,這使得更豐富的語音、圖像、視頻等數(shù)據(jù)并未被充分利用與學(xué)習(xí),以多模態(tài)的方式將更深度、更廣泛地挖掘這些數(shù)據(jù)的價(jià)值,反過來,大量的各種屬性的數(shù)據(jù)投喂也將推動AI擺脫單模態(tài),朝著多模態(tài)大模型不斷前進(jìn)。
最后,是產(chǎn)業(yè)需求的倒逼。
隨著AI逐步落地,產(chǎn)業(yè)需求也在往深處走,更多場景應(yīng)用需要多模態(tài)大模型來支撐,例如,跨模態(tài)檢索、智能問答、文學(xué)藝術(shù)創(chuàng)作、視頻配音、視頻摘要等等。
可以說,越是在技術(shù)層面將圖像、文字、語音相互融合,一個應(yīng)用在場景中表現(xiàn)的價(jià)值就越為明顯,也更能讓AI的場景應(yīng)用真正告別常常被詬病的“雞肋”感。
算力、框架、技術(shù)積累三位一體,多模態(tài)大模型加速落地
為什么紫東.太初這樣的多模態(tài)大模型得以實(shí)現(xiàn),原因主要有三大方面,缺一不可:
1、人工智能算力網(wǎng)絡(luò)成為多模態(tài)、大模型的重要推進(jìn)因素
多模態(tài)大模型的一個重要特征,是訓(xùn)練的參數(shù)規(guī)模呈現(xiàn)指數(shù)級的上升。
以往的單模態(tài),單一類型的數(shù)據(jù)“喂養(yǎng)”幫助AI模型獲取知識、迭代能力,相對而言模型本身并不需要太多的參數(shù),就如同小學(xué)生不斷學(xué)習(xí)加減乘除一樣只要理解基本的數(shù)學(xué)規(guī)則一樣。
而當(dāng)不同模態(tài)加入后,一個可以識別圖像、文字、語音的通用算法,不僅需要理解單模態(tài)的各種數(shù)據(jù),還需要理解不同數(shù)據(jù)之間極端復(fù)雜的聯(lián)系,模型的參數(shù)發(fā)生膨脹,這就如同專業(yè)的大學(xué)理工科學(xué)習(xí)需要綜合各種學(xué)科知識進(jìn)行復(fù)雜地算一樣。
這時(shí)候,很顯然,算力就成為最基本的支撐,只有超大規(guī)模的算力才能支撐大模型的訓(xùn)練,才能讓多模態(tài)應(yīng)用有更好的效果。
所以,在提供強(qiáng)大集群化算力的各地人工智能計(jì)算中心基礎(chǔ)上,人工智能算力網(wǎng)絡(luò)的出現(xiàn),進(jìn)一步解決了多模態(tài)大模型的算力需求問題,成為重要的推進(jìn)因素。
事實(shí)上,由于大模型的運(yùn)算很多時(shí)候還有波峰波谷的問題(即計(jì)算時(shí)算力耗費(fèi)巨大,而不計(jì)算時(shí)則算力閑置),而人工智能算力網(wǎng)絡(luò)又能在全國范圍內(nèi)感知、分配、調(diào)度人工智能算力,根據(jù)各中心算力資源的情況和各地區(qū)的需求情況進(jìn)行算力動態(tài)調(diào)配,雙方的供需關(guān)系除了“量”之外在“節(jié)奏”上也十分契合。
反過來看,多模態(tài)大模型的技術(shù)發(fā)展以及在產(chǎn)業(yè)中的應(yīng)用,也將推動本身作為各地產(chǎn)業(yè)集群推進(jìn)力量的人工智能算力網(wǎng)絡(luò)更好地發(fā)展,“物盡其用”同時(shí)技術(shù)不斷進(jìn)步,可見二者是相互促進(jìn)的關(guān)系。
2、昇思MindSpore特性推動開發(fā)加速
由于模型參數(shù)十分龐大,光有算力支撐還不行,多模態(tài)大模型開發(fā)所依托的AI框架也需要有承載和利用算力、支持龐大參數(shù)的能力,而這方面,過去國內(nèi)外已有的一些主流開發(fā)框架都只支持簡單的數(shù)據(jù)并行,滿足不了大模型的需要。
本次在華為全聯(lián)接2021上發(fā)布的多模態(tài)大模型紫東.太初,就基于昇思框架訓(xùn)練的,這是業(yè)界首個支持全自動并行的框架,全球首個中文預(yù)訓(xùn)練大模型鵬程.盤古就出自其手。
昇思框架與多模態(tài)大模型相契合的主要技術(shù)優(yōu)勢在于,可以在訓(xùn)練過程中自動將模型切分到不同的設(shè)備,并高效地利用龐大的計(jì)算設(shè)備集群來完成并行訓(xùn)練,相當(dāng)于建立了一套行之有效的中樞指揮系統(tǒng),將計(jì)算任務(wù)以同時(shí)進(jìn)行的方式分配下去,再大的訓(xùn)練任務(wù)也能有條不紊實(shí)現(xiàn)加速,而不是堵塞起來。
其實(shí)現(xiàn)過程,是通過多維度自動并行這一獨(dú)特能力來實(shí)現(xiàn)的——通過數(shù)據(jù)并行、模型并行、Pipeline并行、異構(gòu)并行、重復(fù)計(jì)算、高效內(nèi)存復(fù)用及拓?fù)涓兄{(diào)度,降低通信時(shí)間的占用,實(shí)現(xiàn)整體迭代時(shí)間最小,簡單來說就是通過一系列技術(shù)創(chuàng)新來讓并行更有規(guī)模和效率,無需像其他AI框架一樣半自動甚至是手動來完成大模型的并行執(zhí)行開發(fā)。
在最新的1.5版本更新中,昇思框架還增加了多種并行調(diào)優(yōu),支持在大集群下高效訓(xùn)練千億至萬億參數(shù)模型。
3、已有多模態(tài)大模型相關(guān)經(jīng)驗(yàn)基礎(chǔ)
多模態(tài)能力一定建立在單模態(tài)能力的基礎(chǔ)之上,這是毫無疑問的。此次紫東.太初的開發(fā)者即中國科學(xué)院自動化研究所,是昇騰AI的重要生態(tài)伙伴,在發(fā)布紫東.太初之前,中科院自動化研究所就已經(jīng)在圖像、語音、文本三個方面自研了業(yè)界領(lǐng)先的模型:
在此基礎(chǔ)上,中科院自動化研究所與昇騰AI攜手,還實(shí)現(xiàn)了一些“前期準(zhǔn)備”能力的構(gòu)建,包括圖文跨模態(tài)理解與生成性能、視頻理解與描述性能的全球領(lǐng)先,這些都成為紫東.太初的重要支撐:
最終可以看到,全球首個三模態(tài)大模型紫東.太初應(yīng)運(yùn)而生,讓多模態(tài)從常見的兩個模態(tài)一躍邁入了三模態(tài)時(shí)代,不僅可以實(shí)現(xiàn)跨模態(tài)理解(比如圖像識別、語音識別等任務(wù)),也能完成跨模態(tài)生成(比如從文本生成圖像、從圖像生成文本、語音生成圖像和視頻等任務(wù))。
看起來,兩個模態(tài)與三個模態(tài)似乎只有數(shù)量的差別,但從技術(shù)上,其實(shí)現(xiàn)難度或與二維世界到三維世界的跨越類似,需要大量的技術(shù)積累與創(chuàng)新。而一旦三模態(tài)得以實(shí)現(xiàn),相比較兩模態(tài),AI的交互會變得更加自然,能夠離強(qiáng)人工智能更近一步。
結(jié)語
多模態(tài)大模型正在加速賦能產(chǎn)業(yè),在開源開放的大前提下,昇騰AI加持的紫東.太初正在走入智能駕駛、工業(yè)質(zhì)檢、影視創(chuàng)作、智慧醫(yī)療等應(yīng)用場景,合作客戶包括上汽集團(tuán)、魏橋創(chuàng)業(yè)等知名企業(yè),一幅多模態(tài)大模型賦能千行百業(yè)的圖景正在展開。
從多模態(tài)大模型的發(fā)展可以看出,未來,隨著人工智能算力網(wǎng)絡(luò)、昇思框架這樣的基礎(chǔ)軟硬件突破性項(xiàng)目的發(fā)展,中國的AI將實(shí)現(xiàn)從基礎(chǔ)技術(shù)到產(chǎn)業(yè)應(yīng)用的全面領(lǐng)先,憑借技術(shù)和模式創(chuàng)新?lián)碛姓嬲母偁幈趬尽?/p>
*本文圖片均來源于網(wǎng)絡(luò)
*此內(nèi)容為【科技向令說】原創(chuàng),未經(jīng)授權(quán),任何人不得以任何方式使用,包括轉(zhuǎn)載、摘編、復(fù)制或建立鏡像。
【完】
曾響鈴
1鈦媒體、品途、人人都是產(chǎn)品經(jīng)理等多家創(chuàng)投、科技網(wǎng)站年度十大作者;
2虎嘯獎評委;
3作家:【移動互聯(lián)網(wǎng)+ 新常態(tài)下的商業(yè)機(jī)會】等暢銷書作者;
4《中國經(jīng)營報(bào)》《商界》《商界評論》《銷售與市場》等近十家報(bào)刊、雜志特約評論員;
5鈦媒體、36kr、虎嗅、界面、澎湃新聞等近80家專欄作者;
6“腦藝人”(腦力手藝人)概念提出者,現(xiàn)演變?yōu)?ldquo;自媒體”,成為一個行業(yè);
7騰訊全媒派榮譽(yù)導(dǎo)師、多家科技智能公司傳播顧問。
申請創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!
2023年7月6日,第六屆世界人工智能大會(WAIC2023)在上海開幕,“人工智能大模型”是本屆大會的備受矚目的話題,據(jù)悉,在昇騰AI大模型的創(chuàng)新研發(fā)中,華為聯(lián)手26家行業(yè)領(lǐng)軍企業(yè),組建了一支協(xié)同創(chuàng)新的“AI明星隊(duì)”,云天勵飛作為中國人工智能企業(yè)的杰出代表,和互聯(lián)網(wǎng)大廠、運(yùn)營商、科研院所等優(yōu)秀團(tuán)隊(duì)
這幾個月來,以ChatGPT為代表的生成式AI展現(xiàn)出的能力令世界驚嘆。自從2016年AlphaGo戰(zhàn)勝李世石掀起了一波AI浪潮后,AI仿佛已經(jīng)沉寂了很久,ChatGPT的橫空出世就如同一束耀眼的光芒,讓AI這個名詞重回C位。過去在AI1.0時(shí)代,主要通過訓(xùn)練模型來實(shí)現(xiàn)圖像識別、聲音識別、語言處理等特
文:互聯(lián)網(wǎng)江湖作者:志剛2023年的IoT需要一個新故事。6月29日,涂鴉智能在開發(fā)者大會上,發(fā)布了企業(yè)級戰(zhàn)略PaaS2.0,希望通過一個平臺+四大開發(fā)服務(wù),建立起IoT生態(tài)。對于這場發(fā)布會,市場的態(tài)度是積極的。美東時(shí)間6月29日收盤,涂鴉智能美股股價(jià)上漲5.6%,來到1.87美元/股。近日股價(jià)穩(wěn)定
美團(tuán)曾經(jīng)的二號人物王慧文對標(biāo)OpenAI的創(chuàng)業(yè)項(xiàng)目光年之外,以20億賣給美團(tuán),再度引發(fā)市場對大模型的熱議。
2020年底,王慧文在朋友圈寫下這句話時(shí),外界本以為這位伴隨中國互聯(lián)網(wǎng)發(fā)展而持續(xù)創(chuàng)業(yè)20年的人物即將告別創(chuàng)業(yè)舞臺。但是,一個曾經(jīng)多次創(chuàng)業(yè),正值壯年的互聯(lián)網(wǎng)老將心中的創(chuàng)業(yè)熱情是難以熄滅的。
“人工智能的商業(yè)模式,是要創(chuàng)造一個市場,而非一個算法”。這是世界AI泰斗MichaelI.Jordan的觀點(diǎn)。而當(dāng)前的全球AI市場,占據(jù)主導(dǎo)地位的中美雙方,卻也走出了兩條截然不同的技術(shù)路徑,前者執(zhí)著于前沿技術(shù)的探索,后者則發(fā)力應(yīng)用優(yōu)化和商業(yè)化落地。南轅北轍的兩個方向,或許已經(jīng)無法直接進(jìn)行排位先后、優(yōu)
智能體進(jìn)化發(fā)展了一年,現(xiàn)在的RPAAgent迭代到什么程度了?從實(shí)在智能最新發(fā)布的實(shí)在Agent7.0,看RPAAgent的迭代升級抓取豆瓣信息、自己制作PPT,這款A(yù)IAgent真的實(shí)現(xiàn)了流程全自動化AIAgent構(gòu)建到執(zhí)行全自動化,持續(xù)進(jìn)化RPAAgent再次降低智能體應(yīng)用門檻實(shí)在智能重磅發(fā)布實(shí)
崔大寶|節(jié)點(diǎn)財(cái)經(jīng)創(chuàng)始人進(jìn)入2024年,大模型似乎有熄火之勢:資本市場,與之關(guān)聯(lián)的概念炒不動了,英偉達(dá)股價(jià)動輒暴跌重挫,引發(fā)“泡沫戳破”的擔(dān)憂;消費(fèi)市場,BATH們的推新活動少了,產(chǎn)品更新迭代的速度慢了,民眾的關(guān)注度降了……熱鬧的大概只剩下兩場酣仗:自5月15日字節(jié)跳動宣布“以厘計(jì)費(fèi)”,打響國內(nèi)大模型
文|智能相對論作者|陳泊丞好消息!你心心念念的事業(yè)單位發(fā)錄取公告了!壞消息!他們沒錄你,錄了個數(shù)字人。圖片來源網(wǎng)絡(luò)隨著數(shù)字人技術(shù)的突破,越來越多的傳統(tǒng)企業(yè)和機(jī)構(gòu)開始用上了“數(shù)字員工”。甚至很多中國人心心念念的“鐵飯碗”,也被這些數(shù)字人給捧上了。數(shù)字人捧上了“鐵飯碗”簡單翻看一下全國各地事業(yè)單位的“錄
黑芝麻智能敲鐘后,港交所門口又有一些智駕芯片企業(yè)引發(fā)關(guān)注。據(jù)悉,近日地平線已通過中國證監(jiān)會IPO備案,擬發(fā)行不超過11.5億股境外上市普通股并在香港聯(lián)合交易所上市,預(yù)計(jì)籌集約5億美元資金。從天眼查可以了解到,該公司成立于2015年,是一家乘用車高級輔助駕駛(ADAS)和高階自動駕駛(AD)解決方案供
8月21日,萬眾矚目的2024世界機(jī)器人大會暨博覽會在北京亦創(chuàng)國際會展中心盛大開幕。這場為期5天,集“展覽”“論壇”“賽事”于一體的機(jī)器人盛會,反映了當(dāng)下機(jī)器人領(lǐng)域的繁榮生態(tài)。據(jù)官方統(tǒng)計(jì)數(shù)據(jù),今年現(xiàn)場逛展觀眾高達(dá)25萬人次,比去年增加25%。機(jī)器人行業(yè)有多火?看看2024世界機(jī)器人大會火爆程度便可知
瞄準(zhǔn)場景需求,打造國內(nèi)領(lǐng)先的自主可控、高質(zhì)量超大載重高烈度環(huán)境特種智能系留無人平臺。卓翼智能亮相HICOOL峰會以科技實(shí)力榮摘創(chuàng)業(yè)大賽一等獎這個比賽5年培育出16家“獨(dú)角獸”HICOOL2024全球創(chuàng)業(yè)者峰會暨創(chuàng)業(yè)大賽已于8月25日在北京圓滿落下帷幕,大賽共吸引了124個國家和地區(qū)的7406個創(chuàng)業(yè)項(xiàng)
人工智能是新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動力量。無錫市作為中國的科技創(chuàng)新中心之一,正通過構(gòu)建人工智能"算力+算法+數(shù)據(jù)"三要素齊備的產(chǎn)業(yè)生態(tài),為產(chǎn)業(yè)技術(shù)創(chuàng)新應(yīng)用提供強(qiáng)大支撐,通過“AI+”行動推動人工智能與多個產(chǎn)業(yè)交叉融合,實(shí)現(xiàn)技術(shù)落地和產(chǎn)業(yè)化,加速形成新質(zhì)生產(chǎn)力,打造具有國際競爭力的產(chǎn)業(yè)創(chuàng)新智造
近日,2024龍蜥操作系統(tǒng)大會(OpenAnolisConference)在北京圓滿召開,此次大會由中國計(jì)算機(jī)學(xué)會開源發(fā)展委員會、中關(guān)村科學(xué)城委員會、海淀區(qū)委網(wǎng)信辦、中國開源軟件推進(jìn)聯(lián)盟指導(dǎo),龍蜥社區(qū)主辦,阿里云、浪潮信息、Intel、中興通訊、Arm、中科方德等24家理事單位共同承辦,主題為“進(jìn)化