Oído在ESP32-S3上跑开放词表语音识别
先了解这件事
Daniel Varela Sánchez等人发布推理引擎 Oído，在无神经网络加速器的 5 美元 ESP32-S3 微控制器上运行开放词表英语语音识别，执行 13M 参数 Conformer-CTC 模型，采用 int8 权重、逐帧动态 int8 激活和 int8 注意力。在 LibriSpeech test-clean/test-other 上端侧算术达到 3.70%/8.23% WER，与全精度相差 0.12 个百分点；加片上 1.3M 参数语言模型后为 3.33%/7.15%，transducer 头为 2.99%/6.67%，int4 变体占用 8.3 MB。 论文称，实测固件单核运行耗时为音频时长的 1.97 倍，尚不能实时，4 秒语音约在结束后 8.7 秒输出文本；双核调度在芯片上结果错误已被禁用。流式变体在 3.6-10.6 秒片段上于结束后 4.1-11.1 秒输出最终文本，WER 为 4.86%/11.03%。代码与模型已发布。
根据报道生成 · 1 天前更新
报道时间线
沿着报道，了解事件的不同侧面。
- arXiv eess.ASOído：在 5 美元 ESP32-S3 微控制器上运行开放词表语音识别
论文提出 Oído 推理引擎，在无神经网络加速器的 ESP32-S3（240 MHz 双核 Xtensa LX7、512 KB SRAM、8 MB PSRAM、16 MB flash）上运行开放词表英语语音识别，执行 13M 参数 Conformer-CTC 模型，采用 int8 权重、逐帧动态 int8 激活和 int8 注意力。在 LibriSpeech test-clean/test-other 上端侧算术达到 3.70%/8.23% WER，与全精度相差 0.12 个百分点；加片上 1.3M 参数语言模型后为 3.33%/7.15%，transducer 头为 2.99%/6.67%，int4 变体占用 8.3 MB。实测固件单核运行耗时为音频时长的 1.97 倍，尚不能实时，双核调度在芯片上结果错误已禁用；流式变体在 3.6-10.6 s 片段上于结束后 4.1-11.1 s 输出最终文本，WER 为 4.86%/11.03%。代码与模型已发布。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。