LiveSynth流式神经合成器论文发布
热点事件观察中
LiveSynth流式神经合成器论文发布
1 篇报道1 个报道来源2 天前更新
先了解这件事
事件综述
Kyungsu Kim等作者发布论文，提出LiveSynth——一个支持零样本乐器克隆与文本生成乐器的流式神经合成器，可在演奏中实时交互。 其架构为无反馈因果Transformer，以MIDI事件和CLAP音色嵌入为条件，以100 Hz输出连续音频潜变量，再由因果变分自编码器解码为音频；逐帧音色条件支持连续音色变形，MIDI条件dropout支持从演奏前缀自主延续。作者称，在NSynth和Slakh数据集上，其音色相似度与频谱重建质量与离线基线相当；在M3 MacBook Air上每10 ms音频帧需8.8 ms计算，RTF为0.88，算法延迟10 ms。
根据报道生成 · 1 天前更新
最新进展10月12日 12:00
LiveSynth：面向乐器克隆与文本生成乐器的流式神经合成器报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv eess.ASLiveSynth：面向乐器克隆与文本生成乐器的流式神经合成器
LiveSynth 是一个流式神经合成器，支持零样本乐器克隆与文本生成乐器，可在演奏中实时交互。它用无反馈因果 Transformer 以 MIDI 事件和 CLAP 音色嵌入为条件，以 100 Hz 输出连续音频潜变量，再由因果变分自编码器解码为音频；逐帧音色条件支持连续音色变形，MIDI 条件 dropout 支持从演奏前缀自主延续。在 NSynth 和 Slakh 数据集上，其音色相似度与频谱重建质量与离线基线相当；在 M3 MacBook Air 上每 10 ms 音频帧需 8.8 ms 计算，RTF 为 0.88，算法延迟 10 ms。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。