OmniVoice

OmniVoice 是由下一代 Kaldi 社区（k2-fsa）发起并开源的新一代全多模态语音大模型（Full Multi-modal Speech LLM）框架。该项目旨在探索原生语音交互的底层架构，支持将音频信号作为模型的直接输入与输出流，而非传统的“语音转文字（ASR）- 文字处理 – 文字转语音（TTS）”级联架构。OmniVoice 具备全双工流式推理能力，为构建低延迟、具备情感表达与环境音感知能力的实时语音智能体（Voice Agent）提供完整的开源技术栈。

OmniVoice 的核心功能与技术架构

• 端到端原生音频处理： 舍弃传统级联系统的文本中转，直接在离散音频 Token（Audio Tokens）层面上进行自回归建模，实现语音到语音（Speech-to-Speech）的端到端理解与生成。
• 低延迟流式推理（Streaming Inference）： 框架原生适配流式输入与输出，支持在音频录入的同时进行实时预测与音频块（Chunks）的增量渲染，最小化整机交互延迟。
• 多模态与双向控制： 支持文本与音频的混合输入（Text/Audio Input）和混合输出（Text/Audio Output），允许模型在单次前向传播中同时生成回复文本与对应的同步语音。
• 大规模预训练算力适配： 基于 PyTorch 构建，深度集成了 FlashAttention、FSDP 等分布式训练加速技术，支持在多机多卡（GPU）环境下进行千亿级参数规模的语音大模型训练与微调。
• 多语种与丰富表征： 预训练模型内置多语种识别与合成能力，能够捕获语音中的音调、语气、语速、呼吸声等细粒度副语言特征（Paralinguistic Features），并提供基础的环境音解耦。
• 下一代 Kaldi 生态整合： 项目与 k2-fsa 旗下的 Sherpa、icefall、k2 等开源工具链无缝打通，支持高效的音频分词（Tokenization）和移动端/嵌入式端点部署。

OmniVoice 的典型技术应用场景

• 全双工实时语音助手： 作为底层核心构建具备随时打断（Barge-in）能力的智能电话客服、车载语音中枢或全天候陪伴型语音智能体。
• 同声传译与跨语言交流： 利用端到端模型直接保留说话人原本的音色与情感，实现低延迟的高保真跨语种语音直译。
• 音视频内容多模态分析： 对含有复杂人声、背景乐及环境音的音频文件进行深度语义理解、语境分类和问答提取。
• 情感可控的语音内容创作： 允许开发者通过 Prompt 或参考音频，精细化控制生成语音的情感基调、角色音色以及停顿节奏。