中国、名人の外国語漫才が話題に　「魔法」をかけたのは何？

最近、中国有名な漫才コンビの郭徳綱と于謙が外国語で漫才を披露する動画がネットで大きな話題を集めている。実はこの動画は人工知能（AI）が合成したもので、2人の芸人の声と口調をそっくりまねているだけでなく、口の形も声にぴったり合っていて、多くの視聴者が驚いている。AIは今や、絵画、吹き替え、シナリオ作成など各方面で幅広く応用され、「AI外国語漫才」、「通訳吹き替え」などのショート動画が次々登場し、AIが言葉の壁を低くし、伝統文化の交流・発信を促進することに期待が寄せられている。

この動画は中国で作成されたAIソフト「HeyGen」を利用し、言語処理における識別モデル「Whisper」、音声合成ソフト「Tortoise-TTS」によるモデルになった人の口調を取り込んだ音声、リップシンクツール「Wav2lip」などを通じて、「AI通訳吹き替え」を実現したものだ。

これまでにAIは孫燕姿（スンイェンツー）、周傑倫（ジェイ・チョウ）などの歌手の声を模倣したカバーソングでネットにブームを引き起こした。今ではAI技術は漫才芸人の声・口調をそっくりまねできるようになり、よく知られた芸人が舞台で英語、日本語、韓国語の漫才を披露するところを見られるようになった。ちょっと見た感じでは、口の動きも非常に滑らかだ。

上海市曲芸家協会漫才専門委員会の副主任を務める漫才芸人の趙松涛氏は、「これまでの認知の状況から判断すると、AIが現実の生活に完全に溶け込むのは、インターネットやスマートフォンと同じように押しとどめることのできない流れだ。AI技術の発展にともなって、意識するかしないにかかわらず、民間のネットコミュニケーションが構築・促進され、漫才芸人やその他の文化芸術分野の役者と作品がAI化し、通訳が正確で誤りがないことが確保されれば、中国文化の海外への発信を後押しできるかもしれない」と述べた。

動画サイト「bilibili」（ビリビリ）のアップ主「化身伊陸」さんによると、ネットで話題の通訳吹き替え動画はスピーチ、インタビュー、フリートークなどの動画が多く、日常的な情景や素材に偏っている。感情にあふれ表現力に富んだ動画をAIに「与えれば」、生成された外国語動画は役者の表現とはかけ離れたものになる。さらに一見したところ非常に自然なインタビュー動画は、実は十分に練り上げられたものではない。AIを動画の中に落とし込む程度でも、作業量は肉眼で見えるほど多いものだ。このように考えると、通訳吹き替えをAIに任せるのはまだ先のことのようだが、AIの進歩するペースは驚異的であることも見逃せないという。（編集KS）

「人民網日本語版」2023年11月1日