4月1日，致力于亞太地區(qū)市場的國際領(lǐng)先半導(dǎo)體元器件分銷商---大聯(lián)大控股宣布，其旗下世平推出基于MemryX MX3 AI推理加速卡和瑞芯微（Rockchip）Orange Pi 5 Plus模塊（RK3588）的邊緣AI多路物體檢測方案。

圖示1-大聯(lián)大世平基于MemryX和瑞芯微產(chǎn)品的邊緣AI多路物體檢測方案的優(yōu)勢示意圖

隨著物聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算等技術(shù)的飛速發(fā)展，邊緣AI作為人工智能領(lǐng)域的一個(gè)重要分支，正逐漸成為推動(dòng)智能應(yīng)用普及和深化的關(guān)鍵力量。邊緣AI將AI算法直接部署到邊緣設(shè)備上，在靠近數(shù)據(jù)生成源的地方進(jìn)行處理和推理，可極大地提升數(shù)據(jù)處理的實(shí)時(shí)性和效率，同時(shí)減少數(shù)據(jù)傳輸?shù)难舆t和成本。

借助邊緣AI的優(yōu)勢，大聯(lián)大世平基于MemryX MX3 AI推理加速卡和瑞芯微Orange Pi 5 Plus模塊（RK3588）推出邊緣AI多路物體檢測方案，旨在實(shí)現(xiàn)高效、低延遲、高性價(jià)比的智能監(jiān)控和物體識別應(yīng)用，滿足多樣化場景需求。

圖示2-大聯(lián)大世平基于MemryX和瑞芯微產(chǎn)品的邊緣AI多路物體檢測方案的場景應(yīng)用圖

MemryX是一家專注于邊緣AI處理解決方案的半導(dǎo)體公司，致力于為各種工業(yè)和消費(fèi)應(yīng)用場景提供高性能、低功耗的AI處理能力‌。本方案搭載的MX3 AI推理加速卡將四個(gè)MX3 AI芯片封裝到M.2 2280擴(kuò)展卡上，能夠輕松集成到配備PCIe 3.0 M.2插槽的系統(tǒng)中，MX3 AI芯片能夠提供每瓦5 TOPS的算力性能，并且支持浮點(diǎn)數(shù)（Brain Floating Point）運(yùn)算來確保用戶的模塊準(zhǔn)確度。每顆芯片內(nèi)置10.5MB的靜態(tài)隨機(jī)存取存儲器用于訪問模塊，不會占用主系統(tǒng)的資源，最多可以串聯(lián)16顆芯片來擴(kuò)展性能。借助MX3 AI芯片的性能，MX3 AI加速卡具備高達(dá)20 TOPS的卓越計(jì)算性能，可以為各類工業(yè)電腦帶來即插即用的便捷體驗(yàn)。

圖示3-大聯(lián)大世平基于MemryX和瑞芯微產(chǎn)品的邊緣AI多路物體檢測方案的方塊圖

配合MemryX的強(qiáng)大運(yùn)算能力，本方案能夠輕松實(shí)現(xiàn)多路物體檢測應(yīng)用。開發(fā)者僅需利用普通的USB攝像頭或通過網(wǎng)絡(luò)串聯(lián)的方式，即可輕松實(shí)現(xiàn)諸如停車場管理系統(tǒng)、智能停車柱、智能交通監(jiān)控、商場人流監(jiān)測以及居家全方位意外檢測等多種監(jiān)控功能。另外，為加速研發(fā)進(jìn)程，MemryX還提供Developer Hub開發(fā)環(huán)境，使開發(fā)者能夠便捷地將TensorFlow Lite、ONNX、PyTorch、Keras等主流深度學(xué)習(xí)框架的模塊轉(zhuǎn)換為MX3 AI芯片所需的DFP框架，從而快速完成AI應(yīng)用設(shè)計(jì)。

核心技術(shù)優(yōu)勢：

• 采用浮點(diǎn)數(shù)BF16進(jìn)行計(jì)算，確保模塊準(zhǔn)確度：

模塊設(shè)計(jì)以BF16（Brain Floating Point 16）為基礎(chǔ)進(jìn)行運(yùn)算，相較于傳統(tǒng)的浮點(diǎn)數(shù)格式，BF16能夠在大幅減少內(nèi)存使用量的同時(shí)，提供接近FP32的計(jì)算準(zhǔn)確度。這使其特別適合用于人工智能和深度學(xué)習(xí)模型的推理與訓(xùn)練場景，確保結(jié)果的精確性。

• 不占用系統(tǒng)內(nèi)存：

模塊運(yùn)行時(shí)采用獨(dú)立內(nèi)存的架構(gòu)，無需占用主系統(tǒng)的RAM資源，有效降低對系統(tǒng)整體性能的影響。這種設(shè)計(jì)特性確保模塊在高效運(yùn)行的同時(shí)，仍能為其他應(yīng)用程序預(yù)留足夠的系統(tǒng)資源。

• 高度可擴(kuò)展性：

支持連接多達(dá)16個(gè)模塊，通過模塊化設(shè)計(jì)實(shí)現(xiàn)高擴(kuò)展性。這使得系統(tǒng)能夠根據(jù)需求靈活擴(kuò)展計(jì)算能力，以應(yīng)對不同場景的計(jì)算需求，例如需要更高性能的數(shù)據(jù)中心或邊緣計(jì)算。

• 最佳數(shù)據(jù)流優(yōu)化，最大限度減少數(shù)據(jù)移動(dòng)：

模塊內(nèi)部針對數(shù)據(jù)流進(jìn)行了高度優(yōu)化設(shè)計(jì)，通過智能路由和緩存機(jī)制，能夠最大程度地減少數(shù)據(jù)在運(yùn)行過程中的移動(dòng)頻率，從而提升處理性能并降低延遲。此外，這樣的設(shè)計(jì)也有助于降低能耗，進(jìn)一步增強(qiáng)系統(tǒng)的運(yùn)行效率。

• 高性價(jià)比與低功耗解決方案：

將主平臺Orange Pi 5 Plus搭配MemryX MX3 AI芯片，即可升級為更高階的AI平臺，每秒能夠運(yùn)行約480幀（YOLOv8）的物體檢測；且MX3擁有5 TOPS/W的性能表現(xiàn)，整套多路物體檢測解決方案僅耗電約14W。

• 多路應(yīng)用的新概念：

相較于近年來興起的邊緣計(jì)算，將其概念套用到區(qū)域性場景或許是一個(gè)新穎且能夠大幅降低成本的解決方案。利用輕松易得的攝像頭，再搭配一臺智能工業(yè)主機(jī)，即可實(shí)現(xiàn)許多應(yīng)用，并且能夠?qū)η岸说臄z像頭進(jìn)行任意更換與配置。

方案規(guī)格：

• 主平臺開發(fā)板采用瑞芯微RK3588平臺為基礎(chǔ)，搭載四顆Cortex-A76處理器與四顆Cortex-A55處理器，并提供高性能圖像處理器Arm Mali-G610與神經(jīng)運(yùn)算處理器NPU等強(qiáng)大核心架構(gòu)。

• I/O Board開發(fā)板提供強(qiáng)大的周邊配置，如Gigabit Ethernet千兆以太網(wǎng)、USB Type A/C 3.0通用串行總線接口、HDMI高清多媒體接口、M.2 E-Key傳輸接口、M.2 M-Key傳輸接口，并能夠通過擴(kuò)展的40 pin針腳來模擬常用的UART、I²C、SPI、CAN等信號。

• MemryX MX3 AI芯片提供強(qiáng)大的AI運(yùn)算能力（20 TOPS），以PCIe Gen3 M.2 2280 M-Key接口為主，其M.2加速卡搭載四顆MX3 AI芯片，每顆芯片能夠提供5 TOPS/W的性能，并內(nèi)置10.5MB的靜態(tài)隨機(jī)存取存儲器用于存取模塊。支持Linux與Windows兩大操作系統(tǒng)，并提供豐富的軟件資源供開發(fā)者使用，能夠直接移植Tensorflow、ONNX、Pytorch、Keras等熱門的深度學(xué)習(xí)框架。