SL2Tとは？Google DeepMindの手話翻訳AIを解説
Google DeepMindは、手話をテキストへ翻訳する多言語AIモデル「SL2T」を発表しました。まずはPixel 11のGboardとLive Transcribeで、ASLから英語への変換に対応します。本記事では、SL2Tの仕組みや利用方法、プライバシーへの配慮、利用時の注意点を分かりやすく紹介します。
ARCHETYP Staffingでは現在クリエイターを募集しています。
エンジニア、デザイナー、ディレクター以外に、生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
手話を文字に変換するAI「SL2T」とは
「SL2T（sign-language-to-text）」は、Google DeepMindが発表した、手話をテキストへ翻訳するAIモデルです。Pixel 11のGboardとLive Transcribeで、まずASL（米国手話）から英語への変換に対応します。ASLは米国を中心に使われている手話言語で、英語とは異なる独自の文法や語彙を持っています。
Gboardでは、普段キーボードで文字を入力する場面で、スマートフォンのカメラに向かって手話をすることでテキストを入力できます。メッセージや文書の作成、Web検索のほか、Geminiへの質問や指示にも利用可能です。Live Transcribeでは、対面での会話中に文字を打つ代わりに、手話で返答する使い方が想定されています。
テストに参加したユーザーからは、英語を入力するよりASLで表現するほうが速く、自然だという声も寄せられています。
音声入力で話した内容を文字にできるように、手話をスマートフォンへの入力方法として利用できるようにすることがSL2Tの狙いです。
ただし、手話の翻訳は音声をそのまま文字に起こす処理とは異なります。手話は音声言語を手の動きに置き換えたものではなく、独自の文法と語彙を持つ自然言語です。さらに、手や腕だけでなく、胴体、頭、顔などの動きも同時に意味を伝えるため、AIには身体の動きを捉える「コンピュータービジョン」と、異なる言語間で意味を変換する「機械翻訳」の両方が必要になります。
SL2Tは、50以上の手話言語にまたがる10万時間超のデータで学習し、その約4分の1をASLが占めます。異なる言語や方言、習熟度のデータをまとめて学習することで、Google DeepMindの実験では単一言語モデルを上回る結果を示したとされています。
実際の利用を想定し、左利きの利用者や、スマートフォンを片手に持ちながら行う片手での手話にも対応できるよう調整されています。非手話の動きを誤って翻訳することを抑えたり、入力から翻訳までの待ち時間を短くしたりすることも重視されています。
なお、50以上の手話言語で学習していることは、それらすべてを現時点で翻訳できるという意味ではありません。では、SL2Tはカメラが捉えた手話をどのように処理し、テキストへ変換しているのでしょうか。
映像を送らずに翻訳、SL2Tの仕組みと利用上の注意点
SL2Tでは、スマートフォンのカメラで撮影した映像そのものをGoogleのサーバーへ送って翻訳するのではありません。端末上で動作する『MediaPipe Holistic』がカメラ映像から顔や身体、手の位置を表すランドマークを抽出し、その座標データのみをサーバーへ送ります。元の映像はその場で破棄される仕組みです。
Google DeepMindとAISLACの共同レポートでは、モデル評価調査への参加をユーザーが明示的に許可した場合を除き、入力や出力のログはGoogle側に保持されないと説明されています。
手話では顔の表情や身体の動きも意味を持つため、多くの情報を読み取る必要がありますが、生の映像そのものを送信しないことでプライバシーにも配慮しています。
翻訳方法にも特徴があり、従来の手話翻訳研究では、「gloss（グロス）」と呼ばれる中間的な表記へ変換してから文章にする方法があります。グロスとは、手話の表現を分析するために文字で記録する方法の一つです。
SL2Tはこの工程を挟まず、身体の動きを表す座標列から直接テキストへ翻訳します。Google DeepMindは、表情などの手以外の動きや、空間を利用した表現といった手話特有の情報を扱うために、この方法を採用しています。
性能面では、ASLから英語への翻訳品質を測る「FLEURS-ASL」の評価で、zero-shot条件においてBLEURT 70を記録し、Google DeepMindはこれまでに報告されたスコアを大きく上回ったと説明しています。一方、公開された翻訳例では、珍しい手話表現や速い指文字、文脈を必要とする表現などで誤りも確認されています。
また、身体を座標化する方法にも制約があります。Google DeepMindと手話コミュニティの専門家がまとめた共同レポートでは、舌の動きや周囲の環境、奥行きなど、一部の情報を十分に捉えられない可能性が示されています。
こうした限界があるため、医療や法律、教育などの高リスクな場面や、複数人での会話で人間の手話通訳者を置き換える用途は想定されていません。認定された通訳者が持つ状況判断や文化的理解までSL2Tが担うものではなく、必要な人間の通訳をAIへ置き換える用途も推奨されていません。
開発にはDeafコミュニティも参加しており、Google DeepMindは「AI Sign Language Advisory Committee（AISLAC）」を設置しています。当事者や専門家の意見を取り入れながら、技術の影響や実際の利用方法について検討を続けています。
今後に向けて、Google DeepMindは対応する手話言語の拡大に加え、手話生成や、より高度なAI機能への展開にも取り組んでいます。ただし、現時点で日本手話から日本語への翻訳機能は発表されていません。まずはASLから英語への変換から始まり、利用できる範囲を広げていく方針です。
SL2Tは、単に手話を文字へ変換するだけでなく、プライバシーや誤訳の可能性、人間の通訳が必要な場面まで考慮して設計されています。便利さだけを追求するのではなく、AIに任せられる範囲を明確にしながら提供している点も、今回の取り組みを理解するうえで重要です。
まとめ
いかがだったでしょうか？
SL2Tは、手話をテキストへ変換し、メッセージ作成や検索、対面でのやり取りを支援するAIモデルです。まずはPixel 11でASLから英語への変換に対応し、生の映像ではなく身体の座標データを使うことで、プライバシーにも配慮されています。
一方で、誤訳や利用場面の制約もあり、人間の手話通訳者を置き換えることを目的としたものではありません。手話をデジタル入力の選択肢として広げながら、当事者とともに技術を育てていく取り組みに注目したいですね。