人工知能に手話を理解させる 中国のチームが手話同時通訳システムを開発

議論を交わす研究チームのメンバー。（画像提供は天津理工大学聾者工学院）

聴覚障害者がカメラの前で手話をすると、隣のディスプレイに「陽光総在風雨後」（明るい日差しが差し込むのはいつも風雨の後）という7文字が直ちに「通訳」され表示された。より多くの聴覚障害者の意思を伝えるため、天津理工大学の研究開発チームは5年近くの時間を費やし、動画の言語バンクを構築し、「複雑なシーンにおける中国手話同時通訳システム」を研究開発し、人工知能（AI）技術により人々の利便性を高めた。人民日報が伝えた。

張益彬氏は天津理工大学聾者工学院ネットワーク工学専攻2019年度学生であり、同大の鯨言創益バリアフリースマートテクノロジー研究開発チームのメンバーでもある。この60人近くのチームの過半数が、張氏と同じ聴覚障害を持つ学生だ。彼らは5年近くの時間を費やし、30万件点の動画の言語バンクを構築した。今やチームが作った「複雑なシーンにおける中国手話同時通訳システム」が間もなく実用化されようとしている。

データによると、中国の聴覚障害者数は約2780万人。天津理工大学聾者工学院の袁甜甜副院長は、「手話は今日も聴覚障害者の母語だ。音声認識ソフトウェアが近年普及しているが、表現の論理の出発点は終始、健常者だ。聴覚障害者にとって聞いて理解するのはもとより、最も強く願っているのは聞いてもらうことだ」と述べた。

手話は一種の視覚言語で、特定の文法と語順を持ち、手の動き、表情、ジェスチャーを自由に組み合わせることができ、それによって異なる意味を表せる。「手話認識」と「音声認識」に似た点があるとすれば、それは豊富な言語データベースが必要ということだ。今や音声認識の言語バンクは非常に成熟し、豊富になっている。袁氏は、「音声の言語バンクは自然な状態で非常に便利に得ることができるが、手話の言語バンクは非常に少ない」と述べた。

王建源氏は聾者工学院ネットワーク工学専攻2018年度学生であり、鯨言創益チームの創設メンバーでもある。王氏の担当は手話の言語バンクの構築であるが、この言語バンクとは動画のことだ。「ボランティアを募り、動画を撮影してもらう。何度も何度も撮影する」。王氏とチームのメンバーは2年間で30万点以上の言語バンクを構築した。王氏は、「試算と比較対照によると、中国の中国語能力試験の4級水準まであとわずか100フレーズ余りとなっている」と説明した。

コンピュータに手話の言語バンクをフル活用させる。これは天津理工大学コンピュータ学院修士1年生の孫悦氏のチームにおける主な仕事内容だ。孫氏は自身の仕事を「橋を架ける」と例える。「同じ一言であっても、手話の語順と中国語の語順には大きな差がありうる。これでは見ても分からない」。孫氏はメンバーと徐々に、手話認識アルゴリズムフレームワークモデルを構築した。「分かりやすく言えば、私たちはコンピュータのために手話の教材を作った」。この「教材」があれば、豊富な言語バンクを活用できる。これは手話を中国語に変換する法則を見つけたようなものだ。「橋」を架けてはじめて、データが順調に動くようになる。今やこのモデルはすでに、「複雑なシーンにおける手話同時通訳」をほぼ実現できる。

「複雑なシーンにおける中国手話同時通訳システム」は2019年に、中国工業情報化部（省）次世代人工知能産業イノベーション重点任務公開プロジェクトに入選するとともに、国から資金援助を獲得した。これはまた、チーム全体の前進するペースを上げた。チームは昨年5月、天津市で開かれた第5回世界知能会議の会場に研究成果を持ち込んだ。「システムは当時すでに教育、法律、飲食、交通などの応用シーンをカバーしていた。十分に明るい環境であれば認識率は95％にのぼった」。袁氏によると、このシステムは2022年北京冬季五輪のニュースの放送に用いられ、より多くの聴覚障害者がウィンタースポーツの魅力をゼロ距離で体験した。

情報を聞き訪問に来る協力者が増えており、チームのメンバーはシステムの未来のさまざまな応用シーンを思い描いている。袁氏は、「システムは現在もアップグレード中だ。目標は100万点の言語バンクで、社会生活の基本的なシーンをほぼ網羅することだ」と述べた。（編集YF）

「人民網日本語版」2022年7月18日