復旦大学が大規模AIモデルを開発　視覚障がい者の生活をサポート

スマホのカメラとイヤホンがあれば、画面が言葉に変換され、シーン描写とリスク注意に変わり、視覚障がい者がより安全に移動でき、より便利に生活できるようになる……。復旦大学自然言語処理実験室（FudanNLP）の教員と学生の努力により、マルチモーダル大規模AIモデル「復旦・眸思（MouSi）」に基づき視覚障がい者向けに作った「聴見世界」アプリがリリースされた。中国新聞網が伝えた。

「聴見世界」は「眸思」に基づき、視覚障がい者の日常生活のニーズに合わせて街道歩行モード、フリーQ&Aモード、探しものモードを構築した。街頭歩行モードでは、「眸思」は忠実なガイド役のようになる。信号、交差点、障がい物などの道路状況を詳細にスキャンし、潜在的なリスクを注意喚起し、視覚障がい者が道路を安全に通行できるようにしてくれる。

「眸思」は、フリーQ&Aモードでは気心が知れた友人のように、博物館や芸術館、公園などへと案内してくれる。周囲の状況を細かく捉え、音声によって豊富な生活のシーンを描き出し、日常の風景の美しさを伝えてくれる。探しものモードでは信頼できる執事のように、置いたところから移動させられてしまった杖や好きな味のミルクなど、視覚障がい者が普段簡単に探しものができるようサポートしてくれる。

復旦大学自然言語処理実験室の張奇教授は、「人工知能（AI）は日進月歩で発展している。科学技術はより多くの人の暮らしを変えるものであるべきだ。眸思が視覚障がい者の外出をサポートし、より多くのことを試し、その人生により多くの可能性をもたらすことを願っている」と述べた。このプロジェクトを主導するのは研究を始めて間もない学生たちだが、そうした学生たちはかえってチーム内のブレーンストーミングで独創的なアイデアを打ち出し、斬新な解決策を見つけることができているという。

チームは今年上半期に拡張現実（AR）を導入することで、アプリ内の測位の精度を準メートル級にアップグレードするのに対し、下半期には「眸思」の動画に基づく判断のアップグレードを目指す。現在は閲覧モードや解説モードなど、より多くのモードが開発中だという。（編集YF）

「人民網日本語版」2024年3月5日