前端知库

AI 实时语音界面需要关注哪些前端状态?

从麦克风权限、音频采集、连接状态、打断和播放队列设计实时语音 AI 交互,区分浏览器能力与服务端模型能力。

参考答案

实时语音界面至少要区分权限请求、设备选择、采集中、上传或发送中、模型生成中、播放中、用户打断和连接失败。一个 loading 状态无法表达用户是否还能说话、是否正在播放以及停止按钮会停止哪一层任务。

浏览器的麦克风采集、WebRTC 连接和音频播放分别有权限、用户激活、网络和设备边界。服务端模型的转写、推理和语音合成也可能有不同延迟,前端要处理乱序、部分结果、重复事件和断线恢复。

打断要有明确协议:停止本地播放不一定取消服务端生成,关闭连接也不一定撤销已经产生的结果。音频数据属于敏感信息,应说明采集范围、传输目的、保存时间和删除方式,并提供键盘与文字替代路径。