实时会话:打断、同步与延迟分解
用响应代次隔离旧输出,区分 WebRTC 传输、会话状态和多模态体验评估。
用户已经打断,旧回复却继续从扬声器播出,这通常不是“模型没听懂”,而是生成、传输和播放三个状态没有同步。实时系统需要把响应身份、媒体时间和播放队列一起管理,取消请求只是其中一步。
WebRTC 负责传输,不负责业务轮次
WebRTC 规范提供浏览器实时媒体与数据通信接口。连接通常涉及信令交换、连接协商和网络路径选择;媒体、数据通道与应用控制事件的具体组织由实现决定。建立连接不表示麦克风已获许可、音轨已发送或对端已开始识别。断线重连后还要恢复应用会话状态,不能只看到连接正常就继续旧任务。
实时媒体面临抖动、丢包与缓冲。为连续播放增加抖动缓冲会增加延迟,降低缓冲则更容易卡顿。时间戳用于媒体同步,不应把收到网络包的时间直接当成用户说话时刻。音视频与字幕需要映射到共同时间轴,时钟漂移和设备切换也可能破坏同步。
打断用响应代次而非一个取消布尔值
每轮回复分配 response_id 或 epoch。打断时增加代次、取消旧生成、清空旧播放缓冲,并让接收侧丢弃旧代次的迟到片段。否则即便队列已经清空,网络中尚未到达的旧数据又会入队。已经播放的音频不能撤回,系统需记录播放截止位置,使后续上下文知道用户实际听到了什么。
会话可以区分 listening、thinking、speaking、interrupted 和 reconnecting。状态转移必须定义哪些任务取消、哪些仍继续,例如用户打断朗读不一定取消已经提交的后台查询。涉及副作用时更不能把停止声音当作撤销业务操作。轮次、工具任务和播放实例最好有不同ID,通过关系字段关联。
延迟和错误按链路分解
端到端响应延迟可从用户有效结束时刻到首个可听音频测量,并拆为端点等待、上行、识别或模型处理、工具等待、合成、下行和播放缓冲。流水线有重叠,不能把各阶段最大值简单相加当总时长。分别记录时间区间和关键路径,报告分位数及样本环境。
评估除转写准确率,还包括抢话率、漏打断率、打断到静音时间、首音延迟、音画同步、任务完成率和用户修正成本。一次失败要判断来自感知、理解、工具、生成还是播放,避免全部归因模型。多模态任务还需设置缺失或冲突输入,例如音频说左边而画面标注右边,观察系统是否澄清。
运行:迟到音频不会复活
保存为 realtime_epoch.py,执行 python realtime_epoch.py。字符串代替音频块,没有WebRTC连接或真实播放。
"""响应代次阻止打断后的旧音频入队;不是 WebRTC 或音频实测。"""
class Player:
def __init__(self):
self.epoch = 1
self.queue = []
def receive(self, epoch, chunk):
if epoch != self.epoch:
return 'discarded'
self.queue.append(chunk)
return 'queued'
def interrupt(self):
self.epoch += 1
self.queue.clear()
if __name__ == '__main__':
player = Player()
print(player.receive(1, 'audio-a'))
player.interrupt()
print(player.receive(1, 'late-a'))
print(player.receive(2, 'audio-b'))
print('queue:', player.queue)实际运行输出:
queued
discarded
queued
queue: ['audio-b']第一段进入队列后被打断清空,late-a 因旧代次丢弃,最后只保留audio-b。真实播放器还要调用设备或媒体API停止已排程音频,本例未验证这部分时延。
逐项情境追问与故障定位
以下为机制分析与手算情境。可先遮住回答独立判断,再核对输入、失败位置和选择条件;它们不代表真实模型、远端服务或设备实验记录。
WebRTC:WebRTC显示connected但没有识别结果,先查什么?
连接只说明传输状态的一部分,继续核麦克风许可、音轨发送、对端接收和应用会话。实时媒体减少交互延迟但协商/网络路径复杂。按信令→轨道→媒体数据→识别逐段确认,不能看到连接绿灯就归因模型未理解。
会话状态:用户打断后旧response片段重新入队,布尔cancel为何不足?
新回复开始后布尔可重置,旧包无法区分归属;用递增epoch/response_id拒旧,并分离工具任务与播放实例。代次管理复杂些但防迟到复活。模拟旧A晚于新B到达,确认A丢弃而B接收,工具副作用不随停声自动撤销。
端到端延迟:ASR300ms、模型400ms、TTS200ms能直接说总900ms吗?
只有完全串行且覆盖全部阶段才可相加,流式重叠应看时间区间关键路径,还含端点/网络/播放等待。细分利于优化但需统一时钟定义。以用户有效结束到首个可听音频为口径实测,并报分位数,不能把各阶段最大值相加当总p99。
同步:音视频不同步,增大缓冲是否总更好?
缓冲吸收抖动改善连续性但增加延迟,媒体时间戳需映射共同时间轴,漂移不能只靠无限缓冲解决。先查恒定偏移还是随时间累积、设备切换是否重置基准,再调缓冲,不能用网络到达时间当拍摄/说话时刻。
体验指标:词错率低却用户频繁抢话,缺哪些体验指标?
还需抢话率、漏打断率、打断到静音、首音延迟、同步、任务成功和修正成本。单指标易优化但可能牺牲交互。分层采样自然停顿和重叠说话场景,核错误发生在端点还是播放,不能把ASR准确等同会话质量。
错误分解:音频说左边、画面标右边,回答错该只换模型吗?
先分感知、理解、工具、生成、播放错误,并验证模态时间是否对齐。多模态增加信息也可能矛盾,应澄清或按任务证据规则处理。保存对应音画时间片与中间表示,定位首次冲突丢失点,再决定换模型还是修同步。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
打断后怎样防止旧回复继续播放?
参考思路与常见误区
取消旧生成、清空播放缓冲并增加响应代次,接收侧丢弃旧代次迟到片段,设备端停止已排程音频。记录已播放范围,取消本身无法召回已发数据。
常见误区:只设置cancelled=true不检查后续片段身份。
WebRTC连接成功是否表示实时会话已可用?
参考思路与常见误区
还需检查设备权限、音轨、发送接收、应用会话及轮次状态。传输连接不负责业务上下文,重连后也要处理旧响应与恢复。
常见误区:只监控peer连接状态就认定用户能听见。
端到端首音延迟应怎样分解?
参考思路与常见误区
从用户有效结束到可听首音,记录端点、传输、识别或模型、工具、合成和播放缓冲区间。流水线可能重叠,应看关键路径及分位数,不能机械累加各阶段最大值。
常见误区:模型首token延迟就是用户听到的延迟。
网络包到达时间能直接用于音画同步吗?
参考思路与常见误区
不能,抖动和缓冲使到达时间不同于媒体时间。需使用媒体时间戳、共同基准和漂移处理,结合播放时刻对齐字幕与音视频。
常见误区:先到的包就是先发生的事件。
停止朗读是否应取消所有后台工具?
参考思路与常见误区
取决于任务语义。播放、响应和工具任务应有独立身份,用户可能只想停止声音;已提交副作用不能因声音停止就视为撤销。
常见误区:一个布尔状态同时控制业务和播放生命周期。