Speak Mode 发布:在会议中替你开口的 AI 语音翻译

每一位在多语言会议中的非母语者,都知道那个具体而难受的时刻。讨论进行得很快。字幕在你屏幕上滚动。你完全听懂了——Gaavala 已经把对面翻译了二十分钟,你一个词一个词地跟上了。有人转向你,直接问了你一个问题。

于是,原本单向的语言障碍,变成了一堵墙。

你知道答案。你完全清楚自己想说什么。你只是没办法用会议的工作语言,以同样的速度和精度把它说出来。你迟疑、放软、简化,最后听起来比你实际掌握的信息更外行。等你把一句谨慎的话组装好,对话已经走远了。

我们做 Speak Mode,就是为了闭上这个环。启用 Speak Mode 之后,你说自己的母语,Gaavala 把你翻译后的声音讲回会议里。其他参会者听到的是一个流利的、实时的声音,用他们的语言给出你的回应。你不再是房间里那个安静的人。

本文完整讲清 Speak Mode 做什么、驱动它的那一个按钮以及它读取的两种手势、你可以在两种声音之间做的选择——69 种录音室预设,或你自己声音的原生克隆——以及在为一场高风险通话启用它之前,你应该理解的那些取舍。

Speak Mode 究竟做什么

Speak Mode 不是叠在转录稿之上的一条配音轨。它是一条实时的双向语音管线,与既有的 Gaavala 转录流程并肩运行。

当你在会议中激活它时,你的浏览器内部会发生以下事情:

  1. 你的麦克风音频被扩展程序采集——与 Gaavala 为传入侧已经采集的标签页音频分开。
  2. 这段麦克风音频通过 WebSocket 直接流向 Soniox 做语音转文字。这与 Gaavala 其余部分使用的是同一套直连 Soniox 的模式——没有音频接触我们的后端。
  3. 当 Soniox 用你的源语言输出已提交的 token 时,扩展程序把它们批成短句,并把文本送入 Gaavala 的翻译步骤,翻成你配置的目标语言。
  4. 翻译后的文本被交给你选定的 TTS 引擎,由它合成一段语音。
  5. 这段语音被送进通话,取代你外发的麦克风音轨,因此所有人听到的翻译语音就像出自你本人。没有虚拟麦克风设备需要安装,会议应用的音频设置里也没有什么需要选择——而且在翻译语音播放期间,你真实的麦克风处于静音状态,通话不会同时听到两者。

整个回路在你还在说话的时候就已经在跑。当你用自己的语言说完一句话时,合成的译文已经在他们那边播出来了。你不必等一个“翻译”按钮。你在两个想法之间的停顿,也不必比平常更长。

一个读取手势的按钮

真实的会议各不相同,所以当你甩出一句话的回答,和当你带着别人过一页幻灯片时,Speak Mode 必须有不同的行为。大多数工具用一个模式选择器来解决这件事,而且要你在需要它之前就设好——这意味着当你需要另一种模式的那一刻,你正处在错的那一个里。

Gaavala 没有模式选择器。只有一个 Speak 按钮,它读的是你按它的方式。

按住它

按住按钮,你就只在按住期间说话。松开,管线干净地关闭。这是对讲机式的手势,也是安全的那一个:你绝不会误播出一句旁白、一声咳嗽,或者一段自言自语的思考。对于快速插话、对于精度胜过流畅的高风险通话,以及对于任何你的麦克风可能收到你并不想翻译的人声的房间,这都是正确的直觉。

按住也可以从键盘完成——按下并保持空格键约三分之一秒,它的行为与按住按钮完全一样。

轻点它

改为轻点按钮,它会打开一个 60 秒的免提窗口。一个圆环以分秒为单位为这个窗口倒计时,并在最后十秒转为琥珀色,因此你不用盯着时钟也始终知道自己的发言时间还剩多少。自然地说;Gaavala 会边听边逐句翻译并发声,你什么都不用碰。

连续两次快速轻点则改为打开一个 30 秒窗口——对一个简短的、准备好的观点来说,这是诚实的长度。窗口运行期间再轻点一次,它会提前停止;否则它会在归零时自行结束。

为什么这是一个控件而不是两个

你已经做出的那个手势,本身就编码了意图。短按意味着“就这一下”,轻点意味着“给我一段时间”。没有什么需要提前配置,当那一刻到来时没有什么处在错误的模式里,也没有热键需要绑定或记住。人们喜欢 push-to-talk 的那条安全性质——除非你有意为之,否则没有东西离开房间——在按住这个手势上依然完全成立。

声音:69 种录音室预设,以及你自己的

Speak Mode 给你两种方式来选择会议听到的声音。两者都能说 Gaavala 翻译的全部 60 种语言,也都留在 Gaavala 其余部分使用的那条直连 Soniox 的路径上——回路中没有第三方语音供应商。

69 种 Soniox 录音室音色(Pro 默认)

Soniox 录音室音色是 Pro 上的默认项,也是大多数人从来不需要更改的那一个:69 种多语言预设,跨语言地说 Gaavala 翻译的全部 60 种语言,使用托管密钥——没有什么需要设置。合成走浏览器直连 Soniox,使用与字幕相同的短时效密钥模式,因此翻译后的文本从不经过 Gaavala 的后端。延迟是流式的——第一块内容一就绪,声音就开始播放,通常是在一个短语提交之后的一两秒内。

你自己的声音(原生克隆)

在侧边面板中录一次约 20 秒的自己说话的样本,Gaavala 就会构建一个个人声音克隆——由 Soniox 驱动——它能说与录音室音色相同的 60 种语言,只不过用的是你自己的音色,而不是一个预设。参考样本以加密形式存储,你可以随时在同一个设置界面中删除它;你的会议音频本身从不被存储,无论是在这项功能上,还是在 Gaavala 的任何其他地方。

这两个选项只在一件事上有取舍:熟悉感。录音室音色从第一次会话起就听起来打磨精良而中性。你自己的克隆需要二十秒来设置,之后每一次都听起来明白无误就是你——如果你与同一批客户或同事有周期性的通话,并希望他们一次又一次听到同一个声音,这很有用。

它与市面上其他方案相比如何

会议中的实时语音翻译,多年来一直是一项“即将推出”的功能。确实存在一些东西,但没有一个覆盖 Speak Mode 覆盖的那片地面。

就我们所知,市场上还没有一款消费级定价的工具,能在人们真正使用的会议平台内部做到真正双向的语音翻译。Speak Mode 是我们对这个缺口的回答。

Speak Mode 是为谁做的

Speak Mode 是一项 Pro 功能,它的定价针对的是个人专业人士,而不是企业部署。从中获益最多的人是:

如果你的会议在单一语言对里完全双语,而且所有人都跟得上,你大概不需要 Speak Mode。如果存在一个反复出现的时刻:你或对面的某个人因为语言差距是单向的而沉默下来,那么这就是修好那个时刻的功能。

隐私:什么变了,什么没变

启用 Speak Mode 时,Gaavala 的核心隐私架构不会改变。传入的会议音频仍然通过一条从不接触我们后端的 WebSocket,从你的浏览器直接流向 Soniox。你为 Speak Mode 提供的麦克风音频遵循同一套直连 Soniox 的模式——我们从不看到它。

TTS 这一步对两种声音选项遵循同样的模式。Soniox 录音室音色把翻译后的文本浏览器直连发送到 Soniox,用与字幕相同的短时效临时密钥完成认证——Gaavala 的后端从不看到这些文本或音频。你自己的克隆声音以同样的方式合成,只有它上游一处刻意为之的狭窄例外:你为构建克隆而录制的那段 ~20 秒参考样本,以加密形式(AES-256-GCM)存储在 Gaavala 的服务器上,只用于构建和维护你的声音,并可随时应要求删除。Speak Mode 的其他音频——你的麦克风输入、会议音频、合成输出——都不会被存储。

对两种声音选项来说,Gaavala 的后端都留在音频路径之外。如果你想验证这一点,我们隐私文章里那招网络检查依然有效:打开扩展程序后台页面的 DevTools,筛选 Network 面板,你会看到一条直连 Soniox 的连接——以及零条发往 gaavala.com 的音频流量。

如何启用

Speak Mode 是 Pro 专属功能。Gaavala 的免费试用(一次性 5 分钟,无需信用卡,永不重置)不包含 Speak Mode,所以设置流程大致是这样:

  1. 从 Chrome Web Store 免费安装 Gaavala 并登录。
  2. 在侧边面板中升级到 Pro——每月 $19.99,没有试用期——需要 Speak Mode 时直接升级即可。
  3. 打开侧边面板设置,找到 Speak Mode 区域。
  4. 选一个声音。Soniox 录音室音色是 Pro 上的默认项,不需要任何设置。如果你想用自己的声音说话,选择 “Clone my voice”(克隆我的声音)并录一段 ~20 秒的样本——Gaavala 会构建你的克隆,片刻之后你就能选用它。
  5. 为这场会议配置目标语言。没有采集模式需要挑选——Speak 按钮读取你的手势,因此没有什么需要提前决定。

然后加入会议。想说一件事就按住 Speak 按钮;有一整段要讲,就轻点它开启一个免提窗口。

真实使用建议

从构建和自用这项功能中得到的一些实践笔记:

FAQ

会议知道我在用它吗? 不直接知道。合成语音通过你本来就会用的那条麦克风通道抵达另一侧,因此没有横幅,也没有元数据。对面听到的是一个非常流利的声音,也许会注意到每次回应之前的细微停顿。我们建议在这件事重要时主动说明——见上面的礼节提示。

我能用自己克隆的声音吗? 可以——在 Pro 上原生支持。在侧边面板的 Speak Mode 设置中录一段 ~20 秒的样本,Gaavala 会构建一个由 Soniox 驱动的克隆,你可以把它选为 Speak Mode 的声音。不需要单独的账户或 API 密钥。

延迟是多少? 录音室音色和你自己的克隆使用同一条流式的、浏览器直连 Soniox 的合成路径。预期在一个短语提交后的一两秒内声音就开始播放——你不需要等整句渲染完,会议才听到内容。

如果我的目标语言不是英语呢? 两种声音选项都已经能说 Gaavala 翻译的全部 60 种语言——无论目标语言是什么,Soniox 录音室音色和你自己的克隆都开箱即用,方式完全相同。

它在 Teams Premium 会议里能用吗? 能。Speak Mode 在任何跑在 Chrome 标签页里的会议中都能用,包括 Microsoft Teams、Zoom、Google Meet 和 Webex。会议组织者是否拥有 Teams Premium 或 Copilot 无关紧要。Speak Mode 跑在通话的你这一侧,而不是会议主持方的基础设施上。

试试看

Speak Mode 现在就对 Pro 订阅者开放。如果你是刚接触 Gaavala,先从一次性免费试用开始——5 分钟转录,无需信用卡——这样你可以先评估传入侧的翻译体验。Speak Mode 不包含在免费试用中;等你准备好在外发侧解锁它时,再升级到 Pro(每月 $19.99,没有试用期)。

把 Gaavala 添加至 Chrome →

从 Chrome Web Store 免费安装 Gaavala,然后升级到 Pro 以解锁 Speak Mode。


相关文章

更多 Gaavala 指南