LV. 44
GP 1k

【問題】想在手機上跑語言模型,有比較適合的SoC嗎?

樓主 HENRYVII9 henryvii9
GP0 BP-
請問一下,現在AI特化的SoC哪個比較適合跑LLAMA 3的語言模型呢?

請問小米POCO F6的Snapdragon 8s gen 3 可行嗎?還是華碩ZenFone 11 8 gen 3 比較好呢?
0
-
LV. 43
GP 5k
2 樓 樹上傑克蘇利 KLPeople
GP2 BP-
Android 陣營我不清楚
但是可以說說 Apple 的神經網路引擎 (NE) 效能

兩年前就已經發表過文章了:Deploying Transformers on the Apple Neural Engine

Apple 的 NE 效能是基於 Transformers 架構進行測量的
單位為 FP16 TFLOPS

A11 - 0.6 TOPS
A12/A12X/A12Z - 宣傳 5 TOPS,實測 5.4 TOPS
A13 - 宣傳 5.5 TOPS ~ 6 TOPS,實測 5.4 TOPS
A14/M1/M1 Pro/M1 Max - 宣傳 11 TOPS,實測 11.66 TOPS
M1 Ultra - M1 Max 兩倍,22 TOPS
A15/M2/M2 Pro/M2 Max - 15.8 TOPS
M2 Ultra - M2 Max 兩倍,31.6 TOPS
A16 - 17 TOPS
A17 - 35 TOPS
M3/M3 Pro/M3 Max - 效能砍半,18 TOPS
M4 - A11 的 60 倍,38 TOPS
S4/S5 - A12 四分之一,1.25 TOPS ~ 1.35 TOPS
S6/S7/S8 - A13 四分之一,1.35 TOPS ~ 1.5 TOPS
S9 - A16 四分之一,4.25 TOPS
2
-
未登入的勇者,要加入 3 樓的討論嗎?
板務人員: