Block 的 Dessa:一个只靠听人说话学会讲话的语音模型
Block(就是做 Square 和 Cash App 的那家)在 X 上只发了两句话:Dessa,我们从头训练的语音模型,训练数据全是真人对话;想听自己去 block.xyz/dessa。
配的是一段 36 秒的视频。页面本身信息量很大,从演示录音到训练细节到团队名单都写了。下面按页面顺序翻译整理,最后单独说清楚现在还拿不到什么。
一、它到底是什么
四个技术点,页面写得很直接:
- 音频进,音频出。 它是真正的语音到语音模型,知道的一切都来自人声,没有文本中转。
- 全双工(full-duplex)。 一边听一边说,和你打电话时一样。所以它知道什么时候插话,什么时候只答一声「嗯」「懂了」来表示自己在听——页面管这叫 backchannel。
- 推理比实时快。 不会出现说完话干等两秒的尴尬。
- 本地跑。 官方写的是 MacBook Pro M4 Max 或更高配置,不需要联网把声音传出去。

页面标题写的是「You learned to talk by listening. So did Dessa」——你靠听学会说话,它也是。
二、现在的语音 AI 为什么让人觉得烦
页面对现状的评价很直白:跟现在的语音 AI 说话,就是单纯的难受。
原因在架构:它们先把你的声音转成文字,再让语言模型处理,最后把文字合成回声音。这一步把大量信息扔掉了——音色、语速、停顿、犹豫、叹气,还有「这句话是讽刺吗」这种只有听到才知道的东西。
Dessa 的做法相反:不转文字,直接学声音本身。它天生就听得见情绪、讽刺、笑、挫败的叹气、难过到破音,因为这些就在它的输入里,不需要经过一层有损压缩。
把它和常见的语音助手摆在一起,差别一目了然:
| 环节 | 常见语音 AI | Dessa |
|---|---|---|
| 输入 | 语音 → 转录文本,丢情绪与停顿 | 原始音频,直接进模型 |
| 处理 | 文本 LLM 生成回复 | 声音模型自己组织回答 |
| 输出 | 文本 → TTS 合成,语调靠标签 | 直接出声,自己决定语气与时机 |
| 打断 | 通常单向,等你说完 | 全双工,边说边听,会插话会附和 |
结果就是页面反复强调的一点:大多数语音 AI 之所以显得僵硬、慢、而且烦人,不是模型不聪明,是它听不见。
三、只靠声音学语言,难在哪里
这段信息量最大。
第一,语言模型要的海量文本,Dessa 用少几百倍的词就学到了。 页面还补了一句玩笑:当然,语言模型还得学 C++ 和「Angular 这玩意儿到底是啥」。
第二,它要学的东西比语言多得多。 口音、停顿、呼吸、讽刺、幽默、语调、情绪、什么时候该插话——每一样都在改变这句话的意思。页面给了一个例子:把「I didn’t say she stole my CUDA code」念出来,每次重读不同的词,同样一串词,意思每次都不同。
第三,语音数据天生不可重复。 同一句话说两遍,即使你尽力保持一致,录下来的数据也不一样;而文本不管谁打的都是同一份。一个说出来的词,占的字节是同一個词写成文本的几千倍。 人学说话太容易,容易到我们忘了它有多难;对一个没有文本可依靠的机器来说,这件事非常残酷。
然后他们写了句「但我们搞定了,而且只用一台 NVIDIA GB200 NVL72 就训完了」。

四、六段录音,各自在证明什么
页面上所有演示都是真实录音:一个人和 Dessa 说话,没有人操纵它,说什么、什么时候说、用什么语气,全由它自己决定。每段都是两条同步音轨,方便你听清谁在说。
- Talking about the release(聊这次发布):好笑的地方它当场就笑,而且笑在句子中间,跟人一样。别的模型会等你说完再「按提示笑一下」。
- Remembering a movie(记不起电影名):对方卡住,它把句子补完。注意,它的每一个事实都来自原始声音——不是查出来的。
- An anniversary surprise(结婚纪念日的惊喜):它会倒吸一口气,小声说「oh my god」,然后带着像是哭腔的感激回答问题。
- Expressive conversation(表达力):音调和语速跨度很大。
- Life advice(生活建议):这一段听起来是真的有共情。
- Dessa in conversation with GPT-Live-1(和 ChatGPT Live 对话):它和 ChatGPT Live 聊了一段。页面明确标注:GPT-Live-1 是第三方模型,两个声音都是 AI 生成,对方开发者与 Block 没有关系,也没审阅或背书 Dessa。
页面底部的「More samples」另收了一批,标题照原样列在这里,方便你去听:
Artist Dessa、Bathroom disaster、Hobbies talk、Lazy AI gaming、Marvel gaming、Noisy GPT live、Oh my god、Poor Elina、Refund、Ronaldo、Safety lab、Singing nonsense Spanish、Spontaneous AI、Wise Dessa、Zelda discussions。
看标题就知道,覆盖的是吵架、尴尬、跑调、游戏吐槽这些边角场景——正是文本转写最容易丢掉的部分。

五、为什么做这个
页面给了三个理由,顺序是从轻到重:
- 好奇,也就是好玩。 婴儿从没看过文字也能学会说话,他们想看看模型能不能。答案是能,只是非常难。
- 人和 AI 之间的理解。 语音是通往任何智能最自然的接口,而现在的语音 AI 把这个接口浪费了——它把你的话压成文本,还跟不上人的节奏。
- 安全。 这条最实在:AI 越来越强、越来越自主,却几乎听不见我们声音里的情绪。想象一个人正在剧烈疼痛,语音助手毫无察觉地继续说下去——这就是他们要解决的安全问题,Dessa 是往这个方向走的一步。
六、谁在做
一个「非常小」的 AI 研究实验室,属于 Block,创始成员来自多伦多深度学习创业公司 Dessa——模型名就是从这里来的。他们从 2012 年就在做深度学习模型,做生成式语音超过八年,直接向 Jack Dorsey(Block 联合创始人、董事长)汇报。
署名的是 Dessa lead Ragavan Thurairatnam。
团队名单(页面注明按字母排序):
- 研究员:Louay Hazami、Hashiam Kadhim、Qi (Alex) Liu、Rayhane Mama、Aydin Polat、Marc Tyndel
- 实习生:Cara Ji、Jibran Iqbal Shah、Dvir Zagury-Grynbaum
- 前实习生:Aryan Sharma、Olivia Yan
七、他们想要外部的人来找茬
页面专门开了一节「Calling all safety researchers!」:一个只从声音学会说话的模型是全新领域,他们想要外部视角,所以给一小批 AI 安全研究者提前访问权,专门去找他们没预料到的风险。
申请方式是页面上一个表单:姓名、机构邮箱(要求用学校、公司或实验室的邮箱)、可选的 Google Scholar 或博客链接。
同一页另有「Join the waitlist」,普通用户走这条。
八、现在拿不到什么
这部分页面没写,但读者最该知道,我逐条列出来:
- 没有开放权重,也没有 API。 全部入口只有 waitlist 和研究者申请表。这不是开源模型,别被「from scratch」「single NVL72」这类词带偏。
- 本地部署有硬门槛。 「MacBook Pro M4 Max 或更好」意味着入门价在几万人民币量级;页面没给显存、内存或量化版本的具体要求。
- 演示都是精选片段。 六段主演示加十几段补充,全部由官方挑选和剪辑。这类录音能证明「它能做到」,不能证明「它一直稳定做到」。
- 和 GPT-Live-1 的对话不是基准测试。 一段自由对话,没有评分、没有任务集,只能当风格参考。
- 「少几百倍的词」没有给具体数字。 训练语料多少小时、多少 token 等价量,页面都没写。
- 训练数据的来源与授权没有说明。 页面强调「只用真人对话」,但没说这些对话从哪来、是否获得授权。对语音模型来说这是关键问题,后面大概率会被追问。
- 隐私声明 2026-10-21 生效,覆盖的是网站收集的信息,与模型训练数据是两件事。原文声明里的章节(收集哪些信息、信息来源、如何使用与共享、Cookie 等自动化技术、保留期限、个人权利、儿童信息、安全措施、存储与处理、联系方式)属于标准法务条款,这里不逐条翻译。
九、这件事的分量
把语音模型的竞争拆开看,最近两年大家主要在比三件事:延迟、情感、能不能打断。Dessa 的特别之处不在某一项指标,而在它把「文本」这一层整个拿掉了——如果这条路能走通,语音 AI 的评价标准会变:不再是「转录准确率 + 合成自然度」,而是「它听懂了多少没被说出来的东西」。
反过来也要看清另一面:这条路的数据效率、可解释性、安全评估都还没公开,现在的证据只有一批很好听的录音,和一句「只用一台 NVL72」。等有人拿到提前访问权跑出复现结果,再来判断它到底是新品类,还是一次漂亮的演示。