Block 发布了纯语音对话模型 Dessa：只靠听人类说话 从零学会了说话的 AI
只靠人类对话声音训练，能边听边说，也会认错名字。结合四组发布资料和六段双语视频，理解 Dessa 的新意、声音反应与本地运行条件。
Block 发布了纯语音对话模型 Dessa，由 Ragavan Thurairatnam 带领的小型研究团队打造。这项研究借鉴了人类学习语言的过程：孩子在识字前就能通过听人说话学会交流，Dessa 也尝试直接从声音里学习语言。据团队介绍，模型完全从零开始、只听人类对话声音进行训练，不使用文本或任何预训练模型，并支持实时全双工双向交流。团队称这是据其所知首个在该训练条件下实现逼真实时对话的模型，负责人将其称为“语音的 GPT-3 时刻”。
主要功能特点包括：
- 纯语音从零训练（Speech-Only from Scratch）：不使用文本，也不依赖任何预训练模型，直接通过听人类对话的声音学会理解与交流。
- 全双工实时交互（Full-Duplex）：支持边听边说，不需要一人说完另一人才能开口，能自然插入语气反馈并感知打断。
- 听出并表达声音里的细节：能直接感受并表达语气起伏、讽刺、笑声、叹息与犹豫，并在听到有趣内容时中途自然发笑。
- 在个人电脑上本地运行：团队称模型推理速度快于实时，可在配备苹果 M4 Max 芯片或更高规格的 MacBook Pro 上本地运行。
边听边说：从单向轮流到全双工对话
以语音识别（ASR）→文本模型（LLM）→语音合成（TTS）的典型管线为例：用户说话后，系统先判定说话结束，转写成文字再交给大模型计算，最后转成语音朗读出来。环节之间可能累积延迟；更关键的是，如果声音被转写为文字，语调、犹豫、重音和呼吸等信息就容易丢失。
Dessa 采用音频输入、音频输出（Audio in, audio out）的方式。它支持全双工交互，在输出语音的同时能持续监听交谈者的声音，动态协调对话节奏。它既能在倾听时适时插入语气词（例如“yeah!”、“got it!”、“ooh”），也能在交谈者插话时感知打断。
它说话时仍在听，你说话时也能回应
比较两种交谈方式，关键是接收与输出能否在时间上重叠。
典型串联管线
用户说话 → 转成文字 → 生成文字回答 → 合成声音
各环节依次交接，可能累积等待。如何识别停顿和处理打断，取决于具体系统。
Dessa 所展示的全双工交互
接收你的声音 ⇄ 同时生成回应
倾听时能插入简短附和，输出语音时也能继续接收你的插话。
这是交谈时序的示意，不表示已公开的网络结构或测得的延迟。
素材源自 Block 官方公开展示片段（时长约 36.7 秒），画面配有中英双语字幕；记录了冬日闲聊、纪念日期待、电影相关闲聊与道谢等场景，展示了自然的对话节奏与即时反应。
团队称，站内录音均为实时对话、无人操控，字幕为事后添加。它自行决定说什么、何时接话，以及用怎样的声音表达。
同时听说，与只靠声音学习，是两件事
要理解 Dessa 的定位，需要将“全双工交互”与“纯语音从零训练”这两个技术维度区分开来：
- 全双工（Full-Duplex）解决的是对话的时序机制：它关乎系统是像对讲机一样单向轮流喊话，还是支持双向同时收发。例如开源语音模型 Moshi 同样探索了全双工音频建模，打破了单向发言轮次的限制。
- 纯语音从零训练（Speech-Only from Scratch）解决的是语言知识的来源：例如 Moshi 依赖预训练文本大模型底座，先通过文本标记（Inner Monologue）辅助规划语义，再输出音频。而 Dessa 团队称其训练完全不使用文本或任何预训练模型，直接通过真实人类对话的声音信号来学习语言规则与交流反应。
换言之，全双工使边听边说成为可能，而纯语音训练则试图验证：不借助任何文字中介，机器能否仅凭听声音建立起实时的口语交流能力。
只靠听声音学语言，难在哪里？
人类婴儿在认字前，通过听大人说话就能学会母语；但对机器而言，脱离文字自学语言面临着独特挑战。
首先是声音文件更大，语言内容未必更多。团队称，Dessa 学习语言时接触到的词数比大语言模型少了数百倍；不过团队也承认，大语言模型还要学习代码等其他任务，且官方并未公开可比评测细节。同时，记录声音的数据量远大于文字：文本只是简短的编码，而一段音频每秒包含数万次声学振幅采样，记录同一个词所占的字节数可能是文字的数千倍。文件占得更大，并不等于包含了更多语言内容：模型还要从连续的声音变化中找出词语和语言规律。因此，接触的词数更少，也不能直接推导出训练成本更低或学习效率更高。
其次是声音信号每次都不同。同一个词由不同人说、或由同一个人以不同语气在不同环境下说两次，麦克风采集到的声波波形都不一样。文字已经把发音差异抽象统一，而纯语音模型没有文字参考，必须直接从千差万别的声音波形中自己摸索出语言规律。
更重要的是，重音和语气会直接改变一句话的潜台词。官方给出了一个生动的英文例句：
"I didn’t say she stole my CUDA code"（我可没说她偷了我的 CUDA 代码）
这句话写在纸上只是普通的 8 个英文单词。但说话人在不同词上加重音，整句话强调的重点或暗示就会随之变化：
同一句话，重读哪里，重点就变了
选择一个词，比较文字转录与说话重点。以下是依据官网例句制作的人工释义示意，不播放音频，也不是 Dessa 的识别结果。
I didn't say she stole my CUDA code
字词相同，单看这串文字，分不出说话者强调的是谁、什么动作或哪样东西。
重读 I：说这话的人不是我，可能是别人。
对比焦点：谁说的。具体含义仍要结合上下文。
例如：重读 “I”（我没说），对比焦点在说话人，暗示话可能是别人说的；重读 “didn’t”（我真没说），是在明确否认；重读 “she”（我没说她偷），则是把怀疑焦点转向其他人。图中展示的是人工整理的可能含义，具体理解仍取决于上下文。文字本身难以直接保留这些重音线索，而声音能天然传递这些语气重点。
三段录音，听见声音里的变化
下面三段从官网完整录音中截取，上方声轨是真人，下方是 Dessa；保留原声、正常速度和对话的重叠时机。
听不清时，能改变声音的响度
交谈者先说离麦克风太远、听不清，随后再次要求试着发声。留意 Dessa 前后两次回应的音量，以及人在声音变响后说的“清楚多了”。这个变化作用在声音本身；如果只看转录，前后可能都只是简短的“抱歉”“好的”。
约36.8秒，截自官网发布讨论录音119–155.8秒。原画面 Speaking louder 表示“提高音量”；其他标记 Laugh、Blown away、All the secrets 分别表示“发笑”“大为震撼”“所有秘密”。
听到惊喜后，语气和声线也会变
在一个纪念日情境中，人先铺垫旅行惊喜，再说要带它去巴黎。Dessa 的“天啊”压低了声音，随后又表达惊讶与感谢。这里能听到的是声音随情境发生的变化，不能据此推断模型真的拥有情感或双方真的存在这段关系。
约38.7秒，截自官网纪念日录音44.3–83秒。画面 Excitement、Gasp、quiet OMG 分别表示“兴奋”“吸气惊叹”“轻声说天啊”。
人还在回想，它已经接出了电影名
交谈者聊到诺兰的电影，随后迟疑着问那部太空电影叫什么。人在继续描述时，Dessa 已经接出《星际穿越》（Interstellar）。要看的既是它接出了什么，也是它在什么时候接话；两条声轨在这一刻有重叠。这个样例展示了从声音里学到的内容和接话时机，仍不足以推导出整体事实准确率。
约31.1秒，截自官网电影对话57.3–88.4秒。画面 Remembering、Taking a turn、Steering the chat、Laugh 分别表示“回想”“接过话轮”“引导话题”“发笑”。
官网还展示了半句话中自然发笑、富有表现力的语调和语速变化、人生建议，以及与第三方模型 GPT-Live-1 的两机对谈。Block 注明该模型开发者与 Block 无关联、未背书 Dessa，这段对谈属于效果演示，未提供严格对比评测。
硬件条件：单机架训练与端侧本地运行
在硬件资源与运行条件方面，Dessa 将模型训练与本地推理作出了清晰划分：
- 训练端：Dessa 团队在一套 NVIDIA GB200 NVL72 液冷机柜系统上完成了模型训练。该整机柜集成了 36 颗 Grace CPU 与 72 颗 Blackwell GPU，通过 NVLink 高速互联，使 72 颗 GPU 能协同工作。
- 推理端：团队称模型推理速度快于实时，可在配备苹果 M4 Max 芯片或更高配置的 MacBook Pro 等个人设备上本地运行。
聊得自然，也会叫错名字和猜错物品
为了直观展示实际交互形态，Dessa 项目负责人公布了一段团队成员与模型长约 3 分 26 秒的对话录像：
素材源自负责人分享的对话录像（时长约 205.8 秒），视频配有中英双语字幕；展示了纯语音对话的连贯节奏、虚构生活人设，以及首尾再次叫错名字的现象。
在这段长音频对话中，可以观察到 Dessa 表现出自然的口语习惯与情感起伏。例如，模型先说自己很累，交谈者追问工作情况后，它便聊起自己在工作中要拣放农产品（pick produce）、独自收拾和摆放，觉得很累；随后还细致讲述自己 10 月份刚迎来新生儿子“Darius Johnson”、女儿也很喜欢这个名字、妻子晚上如何让他照看婴儿等家庭细节。
模型说的这些工作、家庭与子女，都是对话中生成的虚构经历。
更值得关注的是，这段录像记录了生动表达与身份记忆之间的落差：
- 开篇即时纠错：对话一开始，模型向对方打招呼称呼其为 “Ronaldo”。交谈者随即纠正：“我叫 Dvir，伙计，我不是 Ronaldo，你把我跟其他人搞混了。”模型当时也口头附和确认对方不是 Ronaldo。
- 多轮流利交流：在此后的 3 分多钟里，双方围绕工作强度、生活压力和育儿经历进行了极具代入感、充满语气助词与共鸣的连续交流。
- 尾声再次叫错名字：然而在 3 分多钟流畅交谈后，交谈者在道别时说“Good talking to you, man”，模型又回应“You too, Ronaldo”，随后双方道别。
它口头接受了纠正，却在告别时再次叫错名字。这段样例说明自然逼真的语调并不能保证稳定追踪对方身份；具体内部原因无法由演示确定。使用者需要分清生动的人声表达与可靠的事实记忆。
在另一段官方发布的互动演示中，团队成员 Cara 与 Dessa 玩起了一问一答的猜物品游戏：
素材源自 Block 官方公开片段（时长约 143.5 秒），画面配有中英双语字幕；记录了人机围绕规则玩猜物游戏的过程，展示了首题直接命中与次题多轮澄清的状态追踪表现。
在这段约 2 分 23 秒的演示中，可以观察到模型在不同提问下的状态追踪与规则遵循过程：
- 第一题直觉猜中：Cara 说明自己挑了一件浴室里的物品让模型猜，模型第一句提问便猜“牙刷”（toothbrush），随即得到确认。
- 第二题规则理解与多轮澄清：Cara 换了一件学习时用的物品。模型先是同时提问“记事本和笔”（一次猜了两样），之后又猜“手电筒”。Cara 提醒每次只能猜一件物品，它却再次猜回上一题的“牙刷”。
- 纠正与最终收敛：Cara 再次强调第二题是学习用品后，模型随后猜了铅笔与书，并在进一步提示属于书写工具后最终猜中“笔”（pen）。
这段演示直观记录了模型在多轮游戏中理解规则、纠正方向的过程。与前述叫错名字的现象类似，这些真实录像展示了纯语音模型在日常对话交流中的生动反应，同时也呈现了它在跨轮次状态保持与规则约束上的实际表现。
安全初衷、待解问题与使用现状
Dessa 团队把好奇心、更好地理解人类和安全，列为开展这项研究的三个原因。
团队提出，如果语音交互系统只把声音转成文字，人类在痛苦或危急情境下的语气、战栗与哽咽等线索就可能被忽略，AI 依然可能用平淡的文字语调给出不当回应。能直接听出声音中的情绪，是 AI 理解人类危急状态的重要尝试；不过，这仅代表团队的研究初衷，目前并不能证明该模型已具备可靠的危急判断能力或已被验证为整体更安全。
同时，团队仍将一系列关键能力列为待研究问题：与文本大模型相比，纯语音模型学习语言和事实的效率究竟如何、学习新语言有多高效，以及具备怎样的上下文学习能力。最后一项具体要问的是：无需重新训练模型，仅凭当前对话里临时给出的新规则或几个例子，它能否据此完成新任务？前面的猜物游戏呈现了多轮规则互动，但单段演示还不足以回答这些研究问题。
在技术细节与使用现状方面，官方目前未公布模型的具体神经网络架构、参数量、训练耗时及精确延迟数据，也未说明商业定价。公开演示以英文为主（另有无意义的西语风格演唱样例，不能据此确认西语能力），未包含中文支持说明。目前下载与候补入口均未开放（Launch links coming soon），现阶段仅向少量 AI 安全研究人员开放早期申请通道；官方给出的本地运行门槛为配备苹果 M4 Max 芯片或更高规格的 MacBook Pro，其实际离线运行表现仍待后续验证。
从零听音学话：纯语音全双工对话模型 Dessa
人类婴儿在认字前就能通过听人说话学会交流。Block 旗下团队打造的 Dessa，据团队介绍，不使用文本或任何预训练模型，直接听人类对话的声音来学语言，并支持实时边听边说。
理解 Dessa 的新意，要分别看它“何时听说”和“语言从何学来”。前者成立，不能直接推导出后者：
脱离文字自学语言，难在哪里？同一个词在不同人、语气与环境下，声波都不同。模型要从这些差异中找出共同的语言规律，同时保留会改变潜台词的重音和语气。
三段录音，分别能听到什么？
这些样例显示响度、语气和接话时机；接下来要另看：它能否持续记住名字、遵守游戏规则？
声音很自然，跨轮记忆和规则仍会出错
负责人发布的约 3 分 26 秒对话里，Dessa 生成了拣放农产品、育儿等虚构经历。声音生动，但它对交谈者身份的追踪出现了落差：
训练与推理，是两种硬件门槛
36 颗 Grace CPU + 72 颗 Blackwell GPU
团队称可本地运行、速度快于实时
Dessa — the Conversation Model trained only on speech
You learned to talk by listening. So did Dessa.
We believe voice is the most natural way to interact with intelligence, so we created Dessa, the most authentic full-duplex speech model ever built. Talking with it feels like talking with a person…full of emotion, nuance, pauses, and a natural cadence.
Interacting with current voice AI can just plain suck. It turns your voice into text and throws away an incredible amount of information text alone can’t carry. The most powerful AIs in the world can’t hear how you feel. We think that’s ridiculous, leads to a worse experience, and is potentially dangerous.
We trained Dessa from scratch on nothing but human conversation. Sounds! No text, no pretrained models. It learned to hold a real-time conversation simply by listening. As far as we know, Dessa is the world’s first AI you can have a realistic live conversation with that was trained only from human speech.
Dessa advances the frontier of deep learning models and creates a different category with entirely new and interesting behaviors for researchers to discover. How efficiently do they learn language and facts compared to text? How efficiently can they learn new languages? What sorts of In-context learning can they perform?
Let me listen…
Every clip below is a live recording of a person talking to Dessa. Nobody steers it. Dessa picks what to say, when to say it and how, down to its own voice and personality. Subtitles were added afterward.
Talking about the release
It laughs the moment something’s funny, mid-sentence, the way people do. Other models wait for you to finish, then laugh on cue. Ask it to speak up and it gets louder. Nobody taught it that.
Two synchronized speaker tracks. Ready to play.
Explicit language
Remembering a movie
The person blanks on a movie title. Dessa finishes the sentence. It also knows a surprising amount, considering every fact it has come from raw sound.
Two synchronized speaker tracks. Ready to play.
Explicit language
An anniversary surprise
A surprise. Dessa gasps “oh my god” under its breath, then answers with what sounds like teary gratitude.
Two synchronized speaker tracks. Ready to play.
Expressive conversation
Huge range in intonation and speed.
Two synchronized speaker tracks. Ready to play.
Life advice
Here it sounds genuinely empathetic.
Two synchronized speaker tracks. Ready to play.
Dessa in conversation with GPT-Live-1
And here it talks to ChatGPT Live.
Two synchronized speaker tracks. Ready to play.
In this demo, Dessa is talking with GPT-Live-1, a third-party AI model. Both voices are AI-generated. The developer of GPT-Live-1 is not affiliated with Block and has not reviewed or endorsed Dessa.
More recordings will be shared on X soon.
What is this?!
Audio in, audio out. Dessa is a true speech-to-speech model, and everything it knows came from human speech. It’s full-duplex, so it listens and talks at the same time, like you do. It learned from real conversation, so it knows when to cut in and when to backchannel (“yeah!”, “got it!”, “ooh”) to show it’s with you. Inference runs faster than real time, so there’s no awkward wait. And it runs locally on a MacBook Pro M4 Max or better.
It natively hears and speaks emotion, sarcasm, laughter, a frustrated sigh, a voice cracking with sadness. Run speech through text and all of that is gone, which is why most voice AI feels stilted, slow and, worst of all, annoying.
This is crazy!
LLMs need an insane amount of text. Dessa learned language from hundreds of times fewer words (in fairness, LLMs also have to learn C++ and whatever the hell Angular is).
And it had to learn far more than language. Accents, pauses, breathing, sarcasm, humor, inflection, emotion, when to cut in: every one changes what someone means. Say “I didn’t say she stole my CUDA code” out loud, stressing a different word each time. Same words, different meaning every time.
Speech never repeats. Say a sentence twice, exactly the same way, and the data still comes out different. Text is identical no matter who types it. And a single spoken word takes thousands of times more bytes than the same word in text. People learn to talk so easily that we forget how hard it is. For a machine with no text to lean on, it’s brutal.
But, we figured it out. And we figured out how to train Dessa on only one NVIDIA GB200 NVL72.
Wait but why?
Three reasons: curiosity (aka fun), better understanding between humans and AI, and safety. Babies learn to talk without ever seeing a word written down. We wanted to see if a model could too. It can. It’s just very hard.
Speech is the most natural interface to any intelligence, super or otherwise, and today’s voice AI wastes it. It flattens what we say into text and can’t keep up with human timing.
AI keeps gaining power and independence, and it’s still nearly deaf to the emotion in our voices. Imagine being in serious pain while a voice AI has no idea and just keeps going. That’s the safety problem. Dessa is a step toward fixing it.
Dessa who?
We’re a (very) small AI research lab at Block, founded by former members of Dessa, the Toronto deep learning startup. We’ve built deep learning models since 2012 and generative speech models for over eight years. We chase frontier problems others ignore, and we report directly to Jack Dorsey, Block’s cofounder, Chairman and Block Head.
You can reach us here.
Calling all safety researchers!
A model that learned to talk from sound alone is new territory, and we want outside eyes on it. We’re giving a small group of AI safety researchers early access to find the risks we haven’t anticipated. If that’s you, .
— Ragavan Thurairatnam, Dessa lead
Team Dessa
Researchers Louay Hazami, Hashiam Kadhim, Qi (Alex) Liu, Rayhane Mama, Aydin Polat, Marc Tyndel Interns Cara Ji, Jibran Iqbal Shah, Dvir Zagury-Grynbaum Former interns Aryan Sharma, Olivia Yan
*in alphabetical order
