課程名稱:機器學習晶片架構設計
領域:人工智慧小組
師資:葉宗泰
作者:劉胤賢
本專案透過軟硬體協同設計,開發專用的客製化功能單元(CFU)以加速 Wav2Letter 模型,應用於自動語音辨識(ASR)任務。專案的首要目標是在維持模型推論準確率的前提下來降低推論延遲。
我們採用 Arm 提供的優化版 Wav2Letter 架構作為基準,該模型已經過 TensorFlow Model Optimization Toolkit 處理,具備量化特性,並經過剪枝達到 50% 的 Sparsity,本專案的 CFU 設計重點在於優化稀疏矩陣運算與量化數據的並行處理能力,透過將關鍵運算負載從 CPU 卸載至 CFU,解決處理器在執行稀疏卷積時的效能瓶頸,來實現一個高效能、低延遲的語音辨識硬體加速方案。