當下，大模型與工業(yè)物聯(lián)網(wǎng)的融合正成為推動行業(yè)創(chuàng)新變革的關鍵力量。江行智能董事長劉江川院士作為專家學者，受邀出席中國計算機大會CNCC2024“第二屆大模型時代的智能物聯(lián)網(wǎng)研究前沿論壇”并發(fā)表主旨演講，深入探討大模型在工業(yè)物聯(lián)網(wǎng)場景落地的潛力與挑戰(zhàn)。
劉江川院士表示，在實際應用中，人工智能已在多個垂直行業(yè)展現(xiàn)出巨大的潛力價值。以國家電網(wǎng)超高壓輸電線路監(jiān)測為例，物聯(lián)網(wǎng)設備將從2020年的5.4億攀升至2030年的30億。這些遍布電網(wǎng)的智能設備，結(jié)合物聯(lián)網(wǎng)、大數(shù)據(jù)等技術，實現(xiàn)對輸電線路的全方位監(jiān)測，精準識別并預警潛在安全隱患，在保障電力傳輸安全穩(wěn)定的同時，大幅降低人工巡檢成本。
然而，大模型與工業(yè)物聯(lián)網(wǎng)的融合之路并非一片坦途。在技術部署的實踐中，邊緣設備處理能力、連接穩(wěn)定性、對專家依賴程度等問題成為限制發(fā)展的關鍵因素。針對這些問題，劉院士分享了一系列創(chuàng)新解決方案。
邊云協(xié)同通過將部分計算任務分配給邊緣設備，實現(xiàn)邊緣計算與云計算之間的協(xié)同與互補。以輸電線路監(jiān)測為例，邊緣設備能夠迅速處理原始數(shù)據(jù)，并將關鍵信息上傳至云端進行深度分析處理。這種方式可發(fā)揮邊緣設備在處理速度上的優(yōu)勢，減輕云端計算壓力，降低數(shù)據(jù)傳輸延遲，提升系統(tǒng)效能和響應速度。
同時，AutoEdge的引入也為人工智能與工業(yè)專家之間的協(xié)作提供了新的視角與思路。這一框架下，人工智能專家專注模型優(yōu)化迭代，領域?qū)＜覄t聚焦業(yè)務應用，將專業(yè)知識與實際需求相結(jié)合。通過合理的任務分配，有效緩解對專業(yè)人才的過度依賴，提高系統(tǒng)效率及靈活性。
面對大語言模型查詢成本和延遲、真實性和可信度等問題，會上，劉院士也介紹了大模型語義緩存技術、檢索增強生成（RAG）技術等研究成果和應對策略。
語義緩存技術
通過利用現(xiàn)實場景中人與大語言模型對話的語義分析來優(yōu)化緩存設計問題，并基于MOSS和LMSYS數(shù)據(jù)集進行大量對話數(shù)據(jù)分析，挖掘查詢模式和語義關聯(lián)，提出一種新型緩存架構SCALM。SCALM引入全面層次語義聚類（CO-HSC）和選擇性層次語義聚類（SE-HSC），細化查詢模式的處理，可有效解決LLM智能問答中的緩存系統(tǒng)設計效率低和成本高等核心問題。
檢索增強生成（RAG）技術
采用邊緣輔助和協(xié)作的RAG，結(jié)合自適應知識更新機制，能夠增強模型對實時數(shù)據(jù)的理解和利用能力，在保證準確性的同時，降低成本和延遲，為大語言模型在工業(yè)物聯(lián)網(wǎng)中的可靠應用提供保障。
在劉江川院士的帶領下，江行智能一直以邊緣智能賦能電力能源行業(yè)為愿景，積極探索大語言模型在電力行業(yè)的落地應用，提高實用性及可靠性。接下來，江行智能將繼續(xù)秉持創(chuàng)新驅(qū)動的發(fā)展理念，深度挖掘大模型與工業(yè)物聯(lián)網(wǎng)融合發(fā)展?jié)摿?，為行業(yè)發(fā)展提供切實可行的解決方案和創(chuàng)新思路。
關于大會
10月24-26日，以“發(fā)展新質(zhì)生產(chǎn)力，計算引領未來”為主題的第二十一屆中國計算機大會（CNCC2024）在橫店隆重召開。中國計算機大會是全國計算機領域規(guī)模最大、規(guī)格最高的學術、技術、產(chǎn)業(yè)交流互動大會。本屆大會由中國計算機學會主辦，設18場特邀報告、3場大會論壇、138場專題論壇等活動，覆蓋AI、網(wǎng)絡安全、基礎軟件、教育、芯片等34個領域方向。17位國內(nèi)院士，800余位國內(nèi)外頂尖學者、企業(yè)技術精英齊聚橫店，共同探討計算機科學技術的最新進展、未來趨勢和行業(yè)應用。
申請創(chuàng)業(yè)報道，分享創(chuàng)業(yè)好點子。點擊此處，共同探討創(chuàng)業(yè)新機遇！
