Blockが音声のみの対話モデル「Dessa」を公開：人の声を聞くだけでゼロから会話を習得したAI

Blockは、Ragavan Thurairatnam氏が率いる少人数の研究チームが開発した音声特化の対話モデル「Dessa」を公開した。この研究は人間の言語習得プロセスに着想を得ている。子どもは文字を覚える前に、周囲の人の声を聞くことでコミュニケーションを学ぶように、Dessaも音声から直接言語を学習することを試みている。チームの説明によると、このモデルはテキストや事前学習済みモデルを一切使わず、人間の会話音声を聞くだけで完全にゼロから学習されており、リアルタイムの全二重（Full-Duplex）双方向コミュニケーションをサポートしているという。チームは、この学習条件下で自然なリアルタイム対話を実現したモデルは知る限りこれが初であるとしており、責任者はこれを「音声におけるGPT-3モーメント」と表現している。

主な機能と特徴は以下の通り：

• 音声のみでゼロから学習（Speech-Only from Scratch）：テキストを使用せず、既存の事前学習モデルにも依存せずに、人間の会話音声信号を直接聴取することで理解と対話を習得。
• 全二重リアルタイム対話（Full-Duplex）：相手の話を聞きながら同時に話すことが可能。一方が話し終えるのを待つ必要がなく、自然な相づちを挟んだり、相手の割り込みを感知したりできる。
• 声の細かなニュアンスの感知と表現：イントネーションの抑揚、皮肉、笑い声、ため息、ためらいを直接感じ取って表現し、面白い内容を聞いた際には話の途中で自然に笑うことができる。
• PC上でのローカル実行：推論速度はリアルタイムより高速とされ、Apple M4 Maxチップ以上を搭載したMacBook Proなどの個人向けデバイス上でローカル実行が可能であるとチームは述べている。

聞きながら話す：片方向の交代制から全二重対話へ

音声認識（ASR）→大規模言語モデル（LLM）→音声合成（TTS）という典型的なパイプラインを例に取ると、ユーザーが話した後にシステムがまず発話の終了を判定し、文字起こしを行ってからLLMに渡し、最後に音声を合成して読み上げる。各ステップの間で遅延が累積しやすいだけでなく、音声をテキストに変換する過程で、イントネーション、ためらい、強勢、呼吸といった音響情報が失われやすいという根本的な課題がある。

Dessaは「音声入力・音声出力（Audio in, audio out）」のアプローチを採用している。全二重対話に対応しており、音声を出力しながら相手の声を継続的に聴取し、対話のテンポを動的に調整する。相手の話を聞きながら適切なタイミングで相づち（「yeah!」「got it!」「ooh」など）を挟むことも、相手が割り込んできた際にそれを感知することも可能である。

チームによれば、サイトの録音はすべてリアルタイムの対話で、人間がモデルを操作しているわけではなく、字幕は事後に追加されたものであるという。何を話すか、いつ会話に入るか、どのような声のトーンで表現するかはモデル自身が自律的に決定している。

「同時に聞き話すこと」と「音声だけで学ぶこと」は別の課題

Dessaの位置付けを正しく理解するには、「全二重対話」と「音声のみによるゼロからの学習」という2つの技術的側面を明確に区別する必要がある。

• 全二重（Full-Duplex）が解決するのは対話のタイミング機構である：トランシーバーのように片方向で交互に発話するのか、それとも双方向で同時に送受信できるのかという問題に関わる。例えば、オープンソースの音声モデル「Moshi」も全二重の音声モデリングを探求し、片方向の発話ターンの制約を打破した。
• 音声のみによるゼロからの学習（Speech-Only from Scratch）が解決するのは言語知識の獲得経路である：例えばMoshiは事前学習済みのテキストLLMをベースとしており、テキストトークン（Inner Monologue）を通じて意味を補助的に計画してから音声を出力する。これに対し、Dessaチームはテキストや事前学習モデルを一切使わず、生の人間の会話音声信号から直接、言語規則や対話応答を学習したと述べている。

つまり、全二重は「聞きながら話すこと」を可能にする仕組みであり、音声のみの学習は「文字という媒体を一切介さずに、機械が音声を聞くだけでリアルタイムの口頭対話能力を獲得できるか」を検証する試みである。

音声を聞くだけで言語を学ぶことの難しさとは？

人間の乳幼児は文字を認識する前に、大人の会話を聞くことで母語を身につける。しかし、機械にとって文字を介さずに言語を自習することには固有の課題が存在する。

第一に、音声ファイルはデータサイズが大きいものの、言語的な情報量が必ずしも多いわけではないという点である。チームによると、Dessaが言語を学習する過程で触れた単語数は、大規模言語モデルの数百分の1だったという。ただしチームも認める通り、大規模言語モデルはコード生成などの多様なタスクも学習しており、公式に比較可能な詳細ベンチマークは公開されていない。さらに、音声を記録するデータ量はテキストに比べて桁違いに大きい。テキストが簡潔な文字コードであるのに対し、音声データは1秒間に数万回もの振幅サンプリングを含んでおり、同じ単語を記録するのに必要なバイト数はテキストの数千倍に達することがある。データ容量が大きいからといって、そこに含まれる言語的情報量が多いとは限らない。モデルは連続的に変化する音響信号の中から単語や言語の規則性を見つけ出す必要がある。そのため、学習した単語数が少ないからといって、学習コストが低かったり学習効率が高かったりすることを直接意味するわけではない。

第二に、音声信号は毎回異なる波形を示すという点である。同じ単語であっても、話者が異なったり、同じ人物が異なるトーンや環境で2回発音したりするだけで、マイクで収録される音響波形は全く異なるものになる。テキスト表現はこうした発音の差異を抽象化して統一しているが、音声のみのモデルにはテキストの参照先がないため、多種多様な波形データから自力で言語の規則性を導き出さなければならない。

さらに重要なのは、強勢（アクセント）や声のトーンが一言のニュアンスや言外の意味を直接左右することである。公式発表では、次のような分かりやすい英語の例文が挙げられている。

“I didn’t say she stole my CUDA code”（私は、彼女が私の CUDA コードを盗んだとは言っていない）

この文は紙の上に書けば単なる8つの英単語にすぎない。しかし、話し手がどの単語を強調して発音するかによって、文全体が伝える重点やニュアンスは大きく変化する。

例えば、「I」 を強調すれば（私が言ったのではない）、対比の焦点は話し手に置かれ、他の誰かが言った可能性を暗示する。「didn’t」 を強調すれば（私は絶対に言っていない）、発言自体を明確に否定することになる。「she」 を強調すれば（彼女が盗んだとは言っていない）、疑いの矛先を他の人物に向け替えることになる。上図に示した内容は想定される解釈例であり、実際の意味は文脈に依存する。テキスト単体ではこうした強勢の手がかりをそのまま保持することは難しいが、音声であればこうしたトーンの重点を自然に伝達できる。

3つの録音から聴く、声の細かな変化

以下の3つのクリップは公式サイトの完全版録音から抜粋したものである。上の波形が人間、下の波形がDessaであり、元の音声、通常の速度、および対話の重複タイミングがそのまま保持されている。

聞き取りにくいとき、声の音量を変化させる

人間がDessaの声を「マイクから遠くて聞き取りにくい」と伝え、もう一度声を出してほしいと促す場面である。Dessaの前後2回の応答音量の違いと、音量が上がった後に相手が「ずっと聞き取りやすくなった」と答えている点に注目されたい。この変化は音声そのものに生じている。文字起こしだけを見れば、前後ともに短い「ごめんなさい」「わかりました」という応答に見えるかもしれない。

サプライズを聞いたとき、口調や声質も変化する

ある記念日の設定において、相手が旅行のサプライズを予告し、パリへ連れて行くと伝えるシーンである。Dessaは「Oh my God（信じられない）」と声を潜めて発言し、その後に驚きと感謝の意を表している。ここで聞き取れるのは状況に応じて声の調子が変化している様子であり、これをもってモデルが本当に感情を持っている、あるいは二人の間に実際にそうした関係が存在していると推測することはできない。

人間が思い出そうとしている間に、映画のタイトルを先回りして補完する

ノーラン監督の映画の話題になり、相手があの宇宙映画のタイトルは何だったかと言葉を濁す場面である。相手が説明を続けている最中に、Dessaはすでに『インターステラー』（Interstellar）とタイトルを挟み込んでいる。着目すべきは、何を言い当てたかだけでなく、どのタイミングで言葉を挟んだかという点である。この瞬間、両者の音声トラックは重なり合っている。この例は音声から学習した知識内容と発話のタイミングを示しているが、これだけでモデル全体の事実正確性を推し量るには十分ではない。

公式サイトではこのほか、発話の途中での自然な笑い声、表情豊かな抑揚や話速の変化、人生相談へのアドバイス、さらにサードパーティ製モデル「GPT-Live-1」とのマシン同士の対話も紹介されている。なおBlockは、同モデルの開発元はBlockとは無関係であり、Dessaを支持・推奨するものではないと注記している。この対話は効果のデモンストレーションに位置付けられており、厳密な比較評価は提示されていない。

ハードウェア要件：単一ラックでの学習とエッジ端末でのローカル実行

ハードウェアリソースと動作環境に関して、Dessaはモデル学習とローカル推論を明確に区分している。

• 学習環境：Dessaチームは、1台のNVIDIA GB200 NVL72液冷ラックシステムを用いてモデルの学習を完了させた。このラック全体には36基のGrace CPUと72基のBlackwell GPUが統合されており、NVLink高速インターコネクトによって72基のGPUが密に連携して稼働する。
• 推論環境：推論速度はリアルタイムより高速とされ、Apple M4 Maxチップ以上を搭載したMacBook Proなどの個人向け端末上でローカル実行が可能であるとチームは発表している。

自然に対話できる一方で、名前の呼び間違いや物当てのミスも発生する

実際の対話の様子を具体的に示すため、Dessaプロジェクトの責任者はチームメンバーとモデルによる約3分26秒の対話録画を公開した。

この長尺の音声対話では、Dessaが自然な口頭の会話習慣や感情の起伏を示す様子が確認できる。例えば、モデルがまず「とても疲れた」と切り出し、相手が仕事について尋ねると、職場で農産物を取り分けて並べる作業（pick produce）をして一人で片付けや陳列を行っており疲弊していると語り始める。さらに、10月に生まれたばかりの息子「Darius Johnson」のことや、娘もその名前を気に入っていること、夜中に妻から赤ちゃんの面倒を見るよう頼まれるといった家庭の様子を事細かに語る。

モデルが語ったこれらの仕事、家庭、子どもに関する内容は、すべて対話の中で生成された架空の経歴である。

さらに注目すべきなのは、この録画が生き生きとした表現力とアイデンティティ記憶の間のギャップを捉えている点である。

1. 冒頭での即座の訂正：会話の冒頭、モデルは相手に対して「Ronaldo」と呼びかけて挨拶した。相手は即座に「私の名前はDvirだよ。Ronaldoじゃない、他の誰かと勘違いしているよ」と訂正した。モデルはその場では相手がRonaldoではないことを口頭で認めて同意した。
2. 複数ターンにわたる流暢な対話：その後の3分余りにわたり、両者は仕事の負荷、生活のプレッシャー、育児の苦労について、感情豊かな相づちや共感を交えながら極めて臨場感のある連続的な会話を繰り広げた。
3. 終盤での名前の再誤認：しかし3分以上のスムーズな対話の後、相手が別れ際に「Good talking to you, man（話せてよかったよ）」と言うと、モデルは「You too, Ronaldo」と再び呼びかけ、そのまま別れの挨拶を交わした。

モデルは口頭では訂正を受け入れたものの、別れ際に再び相手の名前を間違えた。この事例は、自然でリアルな口調であっても、対話相手のアイデンティティを安定して追跡できる保証にはならないことを示している。その具体的な内部原因はデモからだけでは特定できない。利用者は、生き生きとした人間らしい音声表現と、信頼性のある事実の記憶とを分けて捉える必要がある。

公式から公開されたもう一つの対話デモでは、チームメンバーのCara氏とDessaが一問一答の物当てゲームを行っている。

約2分23秒のこのデモでは、異なる質問に対するモデルの状態追従とルール順守のプロセスが観察できる。

1. 第1問の直感的な正解：Cara氏がバスルームにある物を選んだと告げると、モデルは最初の質問で「歯ブラシ（toothbrush）」と推測し、即座に正解となった。
2. 第2問におけるルールの理解と度重なる確認：Cara氏は勉強の際に使う物に切り替えた。モデルは最初に「メモ帳とペン」と同時に2つの物を推測し、その後に「懐中電灯」と答えた。Cara氏が1回につき1つの物しか推測できないと注意すると、モデルは前問の「歯ブラシ」を再び答えてしまった。
3. 訂正と最終的な収束：Cara氏が第2問は文房具・学習用具であると再度強調すると、モデルは鉛筆や本を挙げ、筆記具であるという追加のヒントを受けて最終的に「ペン（pen）」と言い当てた。

このデモは、複数ターンに及ぶやり取りの中でモデルがルールを理解し、方向性を修正していく過程を具体的に記録している。先述の名前の呼び間違いと同様に、これらの公開録画は音声特化モデルの日常会話における生き生きとした応答を示すと同時に、複数ターンにわたるコンテキスト保持やルール拘束における現実の課題を浮き彫りにしている。

安全性への動機、未解決の課題、そして現在の提供状況

Dessaチームは、好奇心、人間へのより深い理解、そして安全性の3つを本研究に取り組んだ理由として挙げている。

チームは、音声対話システムが音声をテキストに変換するだけでは、苦痛や緊急事態における人間の声のトーン、震え、嗚咽といったシグナルが見落とされ、AIが平淡なテキストの調子で不適切な応答を返してしまう可能性があると指摘している。声に含まれる感情を直接聞き取ることは、AIが人間の緊急事態を把握するための重要な試みである。ただし、これはあくまでチームの研究上の動機を示すものであり、現時点でこのモデルが信頼性の高い危機判断能力を備えていることや、全体としてより安全であることが検証されたわけではない。

同時に、チームは一連の重要な能力を今後の研究課題として挙げている。テキストLLMと比較して音声特化モデルの言語や事実の学習効率がどの程度か、新しい言語をどれだけ効率的に学習できるか、そしてどのようなインコンテキスト学習能力（In-Context Learning）を備えているかという点である。最後の項目については、モデルを再学習することなく、現在の会話の中で提示された新たなルールや数個の例示のみに基づいて新しいタスクを実行できるかどうかが具体的に問われている。前述の物当てゲームでは複数ターンでのルール適用が見られたものの、単一のデモ映像だけでこうした研究課題の結論を出すことはできない。

技術的な詳細と利用状況に関して、現時点では具体的なニューラルネットワークアーキテクチャ、パラメータ数、学習所要時間、正確な遅延データは公表されておらず、商用価格に関する説明もない。公開されたデモは主に英語であり（スペイン語風の歌唱デモも存在するが意味のある発話ではなく、スペイン語能力を裏付けるものではない）、中国語のサポートに関する説明は含まれていない。現時点でダウンロードやウェイトリストの受付は開始されておらず（Launch links coming soon）、ごく少数のAI安全研究者を対象に早期アクセスの申請窓口のみが開設されている。公式が提示したローカル動作要件はApple M4 Maxチップ以上を搭載したMacBook Proであるが、実際のオフライン動作性能については今後の検証を待つ必要がある。