可解释语音特征解释语音模型与大脑响应的对齐

Riki Shimizu 等人在 PLOS Computational Biology 发表研究，用六类可解释语音特征（mel-spectrogram、Gabor filter bank、语音存在、音素、句法、语义）与 Whisper、HuBERT、WavLM 三个语音基础模型的上下文嵌入构建线性编码模型，量化各特征类别在 ECoG 脑响应方差中的共享部分。 方差分解显示，语音基础模型与大脑响应的对齐大部分可由其学习并编码的简单可解释语音特征来解释；模型各层在编码脑相关低层与高层特征之间存在系统性权衡。 研究还发现，模型学到了无法由低层语音特征解释的脑相关语义，且这种能力随模型规模和上下文长度增加。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。