Латентность – задержка между действием пользователя и ответом системы. В тексте её измеряют ещё и отдельно: время до первого символа ответа обычно важнее общей скорости, потому что ползущий по экрану текст воспринимается как быстрый, а пустой экран – как зависание. В голосовом разговоре считают сквозную задержку: от момента, когда человек замолчал, до первого звука ответа.
Складывается она из всех звеньев цепочки: сеть, распознавание речи, определение конца реплики, работа языковой модели, синтез речи и передача звука. Провалиться можно на каждом шаге, поэтому оптимизируют не «модель», а самое медленное звено – и заново меряют.
Почему это критично: в живом разговоре пауза дольше секунды читается как заминка, собеседник начинает переспрашивать или перебивать, и диалог рассыпается. Быстрый и слегка более простой ответ здесь ценнее умного, но опоздавшего.
Как честно мерить: средняя задержка почти всегда врёт. Смотрят перцентили – p95 показывает, что чувствует каждый двадцатый пользователь, и именно эти случаи формируют впечатление «тормозит». Мерить надо на живом трафике: на пустом стенде цифры всегда красивее.