a&s 功能實測比特大陸AI邊緣計算模組算豐SM5

2020-03-16 08:54 來源：互聯(lián)網(wǎng) 我來投稿撤稿糾錯

隨著人工智能在安防、泛安防等領(lǐng)域迅速落地和普及，各類圖像視覺類AI算法落地的精度和實際效果在提升，獲得了更深廣的業(yè)務價值，如安防領(lǐng)域的人臉布控、人車視頻結(jié)構(gòu)化等，泛安防的社區(qū)園區(qū)通行，新零售的VIP客戶識別等，都是AI技術(shù)商業(yè)化的典型場景。

同時，視覺類AI算法的深度學習計算，也逐步從云端部署擴展到邊緣部署。邊緣的設(shè)備比云端多1-2個數(shù)量級，業(yè)內(nèi)對邊緣AI計算硬件的需求快速升溫，大家呼喚高算力、低功耗、接口豐富的芯片和模組方案的出現(xiàn)，來替代原來的CPU、GPU方案。

而比特大陸算豐AI計算模組SM5，定位為國內(nèi)最強算力的AI邊緣計算模組，成為讓人眼前一亮的選擇。它基于AI專用芯片(ASIC)，在算力上突破了17 TOPS量級，達到了驚人的16到30路的潛在視頻計算分析能力。難得的是，在高算力同時保持了相對低功耗、被動式無風扇散熱、接口豐富等優(yōu)點?？梢哉f是國內(nèi)AI邊緣計算模組中的領(lǐng)軍產(chǎn)品，吸引了諸多安防、泛安防客戶的眼球。不僅如此，作為國產(chǎn)廠商的純自主研發(fā)產(chǎn)品，也為特種行業(yè)領(lǐng)域提供了新的選擇。比特大陸算豐AI計算模組SM5實測效果如何，我們一一驗證。

小體積大集成

從外形來看，比特大陸算豐AI計算模組SM5 (Sophon SM5)極為小巧，尺寸僅為普通信用卡大小，算連接器為87×65×8mm，不算連接器為87×65×3mm。底座為144針高密接口，供客戶開發(fā)底板，嵌入到各類設(shè)備之中。

該模組采用寬溫設(shè)計，散熱方案可以選配比特大陸的被動或主動散熱方案，客戶也可自行設(shè)計?？蛇m應-20℃到+55℃的工作環(huán)境，有效降低惡劣環(huán)境對模組的影響，從而支持系統(tǒng)的持續(xù)運作。模組滿足極端環(huán)境的作業(yè)需求，可應用在室外半封閉場所。

比特大陸該模組采用雙模驅(qū)動，內(nèi)置12G內(nèi)存，既可作為AI計算的從設(shè)備(PCIE mode)，也可作為主設(shè)備獨立運行(SOC mode)，可支持FP32(2.2T)高精度的計算，INT8計算經(jīng)過自動化編譯校準的精度損失可小于<0.5%。

另外，該模組接口豐富，具有10+接口類型。支持PCIE EP/ PCIE RC / Ethernet / RS485/ RS232/ GPIO /SDIO / PWM等接口。擴展性強，可擴展USB/SATA/HDMI等，可擴展SATA存儲，可擴展4G/5G/wifi等。

總的來說，比特大陸算豐AI計算模組SM5體積小、低功耗、雙網(wǎng)口、接口豐富，工作寬溫，高集成度，可以方便的被集成在各類邊緣計算設(shè)備、嵌入式設(shè)備、自動化機器之中。

SM5模組頂面圖

SM5模組底面圖

自主研發(fā)芯片算力強大

比特大陸算豐AI芯片是其純自主研發(fā)產(chǎn)品，具備200+專利申請。比特大陸算豐AI計算模組SM5基于比特大陸算豐AI芯片BM1684，為比特大陸的第三代云端AI芯片，屬于歷代規(guī)格最高，算力最強，同時3代的產(chǎn)品研發(fā)迭代，在客戶持續(xù)使用反饋中，產(chǎn)品的成熟度得到了諸多行業(yè)客戶的打磨和提升，進入了成熟階段。

判斷芯片的主要標準即為算力、功耗。a&s實測該模組的算力達到17.6TOPS，在Winograd卷積加速下最高可達35.2TOPS。ARM CPU下算力最強，8核A53主頻2.3GHz，邊緣AI芯片內(nèi)最強，可靈活開發(fā)應用。

實測中，該模組Resnet50的測試吞吐可達到1000 張/秒以上。安防的應用要從整體的視覺應用層面，端到端的來看性能指標。典型的安防視覺AI計算過程包含從外部視頻流/圖片流進入模組，網(wǎng)口取數(shù)據(jù)，視頻/圖片解碼，視頻前后處理，AI計算，同時CPU參與部分計算，最終輸出等。從該模組的測試結(jié)果看，其最高支持32路30FPS的1080P解碼，支持H264/H265格式，支持視頻編碼最高960 FPS;具備硬加速的圖像前后處理能力(Crop/Resize/色域變換)，有效提升應用性能。

常見Resnet50等神經(jīng)網(wǎng)絡運行典型功耗12W以內(nèi)，16路視頻流全流程分析典型功耗為16W。在滿載情況下，典型功耗也不到20W功耗?？梢栽跓o風扇的被動散熱方案下，持續(xù)有效的長期運行。

業(yè)界比對測試效果良好

除了從典型安防視覺AI計算過程衡量模組的算力和整體性能，a&s將英偉達TX2、華為ATLS200等模組方案與比特大陸算豐AI計算模組SM5進行橫向?qū)Ρ葴y試，同類對比技術(shù)規(guī)格來看，算豐SM5的技術(shù)指標在CPU、AI算力、視頻解碼、內(nèi)存、以太網(wǎng)端口等等都具備較大的優(yōu)勢，可以說說得上是業(yè)內(nèi)超強算力。

從測評數(shù)據(jù)中可以看出以下幾點：

在AI算力方面，與TX2 、ATLS200相比具有明顯優(yōu)勢;

在視頻解碼上，是TX2 、ATLS200的兩倍;

內(nèi)存為12GB，是TX2 、ATLS200的1.5倍;

以太網(wǎng)端口是2個，而TX2 、ATLS200均只有1個;

從測評數(shù)據(jù)來看，比特大陸算豐AI計算模組SM5的優(yōu)勢相對英偉達TX2、華為ATLS200優(yōu)勢明顯，雖然功耗相對較大，但與其余對比項相結(jié)合后，性價比仍然最高。

測試數(shù)據(jù)來源為比特大陸實驗室

算力和AI分析路數(shù)

從實際應用和神經(jīng)網(wǎng)絡benchmark兩個角度測試比特大陸算豐AI計算模組SM5。

該模組在安防的實際應用主要指標為可接入的視頻路數(shù)和視頻分析應用能力。在安裝1塊SM5模組搭載的測試底板后，引出來網(wǎng)絡、電源等接口，將視頻流服務器發(fā)過來視頻進行多路處理和分析，并將檢測人臉框打在視頻流上編碼輸出顯示。在16路1080p視頻流輸入的情況下，每路視頻實時畫面達到10人臉以上，單個SM5模組可以實現(xiàn)完全實時的滿幀的處理人臉檢測和跟蹤。

上圖是16路1080P的滿幀處理情況，僅僅為初步部署，并未進行優(yōu)化。用戶可以自行開發(fā)算法軟件，并進行適度優(yōu)化，完全有可能實現(xiàn)單個模組超過16路甚至30路視頻流的人臉檢測分析，或者視頻結(jié)構(gòu)化的業(yè)務分析能力，可以說在應用端到端的算力非常強大。SM5模組的實際應用算力實測非常強，相應的神經(jīng)網(wǎng)絡模型速度肯定也很快。a&s將SM5模組、Nvidia TX2模組，以及Huawei ATLAS 200模組做了性能實測比對，在幾種典型的神經(jīng)網(wǎng)絡分類模型測試中，吞吐數(shù)據(jù)如下表：

測試數(shù)據(jù)來源為比特大陸實驗室

從實測結(jié)果來看，在性能上，SM5相比TX2有十倍級別的性能優(yōu)勢。相比ATLAS 200，雖然理論峰值標稱算力SM5和ATLAS200很接近(17.6T vs 16T)，但是從實測來看，SM5的性能倍數(shù)在最典型Resnet 50上有1.5倍的優(yōu)勢，在Mobilenet上有2.38倍的優(yōu)勢!這說明，標稱算力和實際獲得的算力具有一定的差別。算豐SM5具有較高的有效計算利用率。

總的來看，無論是實際應用的性能，還是神經(jīng)網(wǎng)絡模型的速度吞吐，SM5模組都是很強大的，和業(yè)內(nèi)其他產(chǎn)品相比也有較大的優(yōu)勢。

工具鏈完備，易用度高

對于開發(fā)者而言，都希望開發(fā)簡單易用，特別是從CPU，GPU等的以前的模型和算法，能夠比較輕易的轉(zhuǎn)到新的AI硬件上來。而比特大陸的算豐AI芯片的多種產(chǎn)品(板卡、模組、盒子)，保持統(tǒng)一的工具鏈和系統(tǒng)軟件。

其中工具鏈完備，開發(fā)友好：

包括底層驅(qū)動環(huán)境、編譯器、推理部署工具等一系列軟件工具；

支持Caffe、Tensorflow、PyTorch、PaddlePaddle等深度學習框架，離線編譯和校準工具易用；

完備的性能監(jiān)控工具、神經(jīng)網(wǎng)絡運行庫、視頻編解碼庫、圖像編解碼庫、圖像處理庫；

可提供算法測試用例，包括人臉檢測、物體檢測等。

可應用場景廣泛

比特大陸算豐AI計算模組SM5的定位是被集成，所以應用場景是多種多樣的，包括了AI邊緣計算服務器，智能NVR，AI邊緣計算盒，機器人，大中型無人機等等。模組的主要功能就是進行視覺AI的計算，能夠為傳統(tǒng)產(chǎn)品附加AI功能，支持人臉檢測與識別、面部表情分析、物體檢測與識別、車牌識別、聲紋識別等，可應用于人臉識別、自動駕駛、城市大腦、智能安防、智能醫(yī)療等人工智能場景，應用領(lǐng)域廣泛。