DIGITIMES：2024年EdgeAI浪潮下的硬件业者发展观察报告（23页）.pdf

1、Copyright DIGITIMES Inc.All Rights Reserved.Edge AI浪潮下的硬體業者發展觀察申作昊 Zouhao ShenDIGITIMES研究中心April.20242邊緣運算定義：運算節點較靠近終端雲端層地區資料中心邊緣伺服器感測/終端邊緣運算小型/微型資料中心Server、IPC.etcAI手機、AI 筆電、智慧感測器etc運算資源儲存空間延遲程度較多較少較大較小較高較低3資料來源：全球運算市場穩定成長年增長率估約15.7%MarketsandMarkets、IIC，DIGITIMESResearch整理，2024/4536 600 1,106 0200

2、4006008001,0001,2002023 2024 2025 2026 2027 2028 2029全球邊緣運算市場成長預測單位：億美元邊緣運算各場域應用分布21%18%15%13%12%5%4%4%3%3%2%資通建設交通醫療製造農業資料中心建築穿戴城市家庭零售4邊緣市場構成與重要參與者列舉Edge AI 軟體Edge AI晶片邊緣設備/邊緣終端邊緣伺服器邊緣IPC消費型終端智慧終端通用晶片-GPGPUMCU整合式開發平台預訓練模型NPU(XPU)智慧鏡頭感測器智慧電錶etc5邊緣端產業生態兩大發展重點市場需求供應商策略應用專業化強調軟硬整合Edge AI市場往專業分工領域發展7邊緣端

3、市場趨向應用專業化市場需求供應商策略強調軟硬整合車載電腦工業應用安防監控城市交通智慧家居應用專業化etc8邊緣架構依情境處理不同類型AI任務邊緣層：資料中心、伺服器邊緣層：物聯網感測器雲端任務複雜度高地端LLM應用機器視覺類應用非影像感測應用震動偵測語音喚醒異常偵測物件分類手勢識別身分識別各式推理任務e.g.文字生成、圖像生成etc複雜種類模型訓練任務各領域專家系統專家模型訓練輕量模型、專用晶片大模型、通用類晶片9邊緣端AI晶片類別(GPU、XPU)與差異效能/功耗GPU應用範疇XPU圖片來源：HailoGPUNPU(XPU)多針對特定AI任務開發 特定情境下效能、功耗等較佳 須一併考量AI演

4、算法開發 較適合邊緣端單一應用情境專用度較高 可處理多種、複雜AI任務 較適合用於AI模型訓練 軟體開發生態較開放、完善 較適合雲端多樣任務情境通用度較高10機器視覺為目前AI晶片新創主流布局機器視覺為當前AI晶片業者主流應用方向edge server端edge device端KL520Hailo-8Hailo-15Hailo-10MetisAkida1000Akida-1Akida-2MLSoCLPUKL730KL730LLM應用機器視覺類應用物聯網感測應用部分業者近年開始發展LLM解決方案11邊緣運算各環節AI加速硬體需求不同解決方案各異雲端/資料中心Edge serverEdge dev

5、ice AI任務種類多樣 可擴充性要求高 訓練模型需求高 可擴充性要求高 需視應用調整規格 應用單一、專用度高 成本、能耗敏感GPUASIC通用性高處理各種任務雲端業者自研配合自家算法GPU通用解決方案PUSoC專用解決方案保留可擴充性整合運算單元具性能優勢SoC整合運算單元具性能優勢MCUNPU外接運算能力保留設計彈性MCUNPU微控制器內嵌運算能力12NPU業者多布局機器視覺技術應用領域各不相同機器視覺晶片各應用領域產品資料中心/伺服器 運算力需求高 大量記憶體空間 可擴充性高車載系統 運算力需求高 高可靠性 延遲程度低智慧鏡頭 延遲程度低 低耗能要求 成本敏感度高物聯網終端 低耗能要求

6、成本敏感度高 保留設計彈性SoC外掛NPUSoCSoC外掛NPUNPU+MCU業者逐漸從外掛NPU轉向發展整合度較高產品13Source:部分NPU新創業者近期推出LLM專用AI加速晶片Artificial Analysis、Groq、Hailo，DIGITIMES Research整理，2024/4Hailo-10LPULLM專用晶片每Token價格(美元)吞吐量推廣Groq cloud服務推廣Groq 晶片至資料中心 購併 AI 解決方案公司Definitive Intelligence 以高吞吐量、低收費為優勢 成立Groq Systems推銷晶片