arXiv eess.AS· Daniel Varela S\'anchez, Guillermo Mart\'in-Coello Ju\'arez·· 2 天前评分60
Oído:在 5 美元 ESP32-S3 微控制器上运行开放词表语音识别
O\'ido: Open-Vocabulary Speech Recognition on a $5 Microcontroller without a Neural Accelerator
导读
论文提出 Oído 推理引擎,在无神经网络加速器的 ESP32-S3(240 MHz 双核 Xtensa LX7、512 KB SRAM、8 MB PSRAM、16 MB flash)上运行开放词表英语语音识别,执行 13M 参数 Conformer-CTC 模型,采用 int8 权重、逐帧动态 int8 激活和 int8 注意力。在 LibriSpeech test-clean/test-other 上端侧算术达到 3.70%/8.23% WER,与全精度相差 0.12 个百分点;加片上 1.3M 参数语言模型后为 3.33%/7.15%,transducer 头为 2.99%/6.67%,int4 变体占用 8.3 MB。实测固件单核运行耗时为音频时长的 1.97 倍,尚不能实时,双核调度在芯片上结果错误已禁用;流式变体在 3.6-10.6 s 片段上于结束后 4.1-11.1 s 输出最终文本,WER 为 4.86%/11.03%。代码与模型已发布。
来源:arXiv eess.AS · arxiv.org