安全安心な鉄道利用に向けた「エキマトペ」の実証実験を開始

大日本印刷株式会社（注1、以下 DNP）、富士通株式会社（注2、以下 富士通）、東日本旅客鉄道株式会社（注3、以下 ＪＲ東日本）と株式会社ＪＲ東日本クロスステーション（注4、以下 ＪＲ東日本クロスステーション）は、音の視覚化装置「エキマトペ」を用いて、2022年6月15日から12月14日までの間、ＪＲ上野駅（東京都台東区）の1・2番線（京浜東北線と山手線）ホームに流れるアナウンスや電車の発着などの音情報を文字や手話で表現する実証実験を実施します。

本実証実験を通じて、聴覚に障がいをもつ方をはじめとする駅をご利用のお客さまへ快適な体験を提供することで、より安全安心な鉄道利用を実現するとともに、ダイバーシティ＆インクルージョンへの相互理解の促進を目指します。

また、台東区と連携し、手話サークルやボランティア団体などの活動情報を「エキマトペ」のディスプレイに表示することで、各コミュニティへの参加を促し、地域のダイバーシティ＆インクルージョンの活性化にも貢献していきます。

図1.「エキマトペ」の筐体イメージ

図2．「エキマトペ」のディスプレイの表示イメージ

【 本実証実験の背景 】

富士通とＪＲ東日本、DNPは、2021年7月に川崎市立聾学校で開催された「未来の通学」をテーマとしたワークショップをきっかけに、誰もが使いやすく、毎日の鉄道利用が楽しくなるような体験を目指して、駅のアナウンスや電車の音といった音情報を文字や手話で視覚的に表現する装置「エキマトペ」の開発プロジェクトをスタートしました。

「エキマトペ」を活用した第一弾のプロジェクトとして、富士通とＪＲ東日本、DNPは、2021年9月13日から15日の3日間、ＪＲ巣鴨駅にて駅ホームに流れる音を視覚化する実証実験を実施し、SNSなどを通じて駅をご利用されるお客さまから多くの反響がありました。

第二弾となる本実証実験においては、参画企業としてＪＲ東日本クロスステーションが加わり、社会実装に向けてさらなる省スペース化やコスト削減を意識した「エキマトペ」の筐体の改善を図りました。加えて、駅を地域とのタッチポイントとして機能拡張できるよう、ダイバーシティ＆インクルージョンに関する地域情報の掲示機能を追加しました。

【 実証実験の概要 】

今回の実証実験では、音の視覚化装置「エキマトペ」を活用し、ホームに流れるアナウンスや電車の発着音、ドアの開閉音などをマイクで集音し、AI分析でリアルタイムに文字や手話、擬音語、擬声語といったオノマトペ（注5）に変換して、ホーム上に設置された自動販売機上部の専用ディスプレイに表示します。

音情報の視覚化にあたっては、富士通のスーパーコンピュータ「FUJITSU Supercomputer PRIMEHPC FX1000（以下、「PRIMEHPC FX1000」）」（注6）で構築したAIの学習モデルを活用し、マイクで集音した駅の音情報を識別します。ホームに流れる定型アナウンスは、テキストに変換されると同時に事前収録したＪＲ東日本の駅社員による手話動画とともにディスプレイ上に表現され、電車の発着音やドアの開閉音などは、手書きアニメーションで表現されます。

さらに、駅社員によるアナウンスを、富士通の「FUJITSU Software LiveTalk（以下、「LiveTalk」）」（注7）でテキスト変換し、DNPの「DNP感情表現フォントシステム」（注8）を通じて、文章の内容に適した感情豊かなフォントで表現（注9）します。

図3．「エキマトペ」の利用イメージ

【 各社の役割 】

＜富士通＞

・「エキマトペ」を活用したシステム設計および開発

・「PRIMEHPC FX1000」による駅の音情報の機械学習およびそれらを識別するAIモデルの構築

・「LiveTalk」を活用した駅社員によるアナウンスをテキスト化するシステムの構築

＜ＪＲ東日本＞

・ＪＲ上野駅構内における「エキマトペ」の設置場所の提供

・AIモデルの構築にあたり機械学習させる音声などのデータ提供

＜ＪＲ東日本クロスステーション＞

・「エキマトペ」を固定する自動販売機の提供

＜DNP＞

・駅社員によるアナウンスを文章の内容に適した感情豊かなフォントで表現する「DNP感情表現フォントシステム」の提供

【 今後について 】

今後、富士通とＪＲ東日本、ＪＲ東日本クロスステーション、DNPは、本実証実験を通して得られた知見や駅をご利用のお客さまからの「エキマトペ」の体験に関するフィードバックをもとに、駅の利便性向上を目指してあらゆるお客さまへの情報伝達のあり方について検討を進めます。

【 商標について 】

記載されている製品名などの固有名詞は、各社の商標または登録商標です。

【 関連リンク 】

・電車の音、初めて知った。「エキマトペ」公式サイト：https://ekimatopeia.jp/

・「FUJITSU Supercomputer PRIMEHPC」紹介ページ：https://www.fujitsu.com/jp/products/computing/servers/supercomputer/

・「FUJITSU Software LiveTalk」製品ページ：https://www.fujitsu.com/jp/services/infrastructure/maintenance/lcm/workstyle-solutions/livetalk/

・「DNP感情表現フォントシステム」紹介ページ：https://shueitai.dnp.co.jp/fontsystem/

【 注釈 】

（注1）大日本印刷株式会社： 本社：東京都新宿区、代表取締役社長：北島 義斉

（注2）富士通株式会社： 本社：東京都港区、代表取締役社長：時田 隆仁

（注3）東日本旅客鉄道株式会社： 本社：東京都渋谷区、代表取締役社長：深澤 祐二

（注4）株式会社ＪＲ東日本クロスステーション： 本社：東京都渋谷区、代表取締役社長：西野 史尚

（注5）オノマトペ：自然界の音や声、事物の状態を言語音で表現した言葉。（例：「ざあざあ」「わくわく」など）

（注6）FUJITSU Supercomputer PRIMEHPC FX1000：Arm®v8-A命令セットアーキテクチャーをスーパーコンピュータ向けに拡張した「SVE（Scalable Vector Extension）」を採用したCPU「A64FX」を搭載。高い電力あたり性能とともに、高性能積層メモリであるHBM2の高いメモリバンド幅による高い計算効率を実現。

（注7）FUJITSU Software LiveTalk：発話者の発言を音声認識し、即座にテキスト変換することで、発言内容を複数端末にリアルタイムにテキスト表示できるコミュニケーションツール。そのほか、21言語への翻訳機能も搭載されており、表示させたい言語を選択するだけで発話者の言語を翻訳して表示可能。

（注8）DNP感情表現フォントシステム：文章を読み取り、感情や話題に合わせたフォントに自動で切り替えるシステム。例えば、楽しい内容の場合はポップなフォントに、怒っている場合は尖ったフォントに切り替えて、その文章を表示。フォントの表現力で、テキストによるコミュニケーションをより楽しく豊かにすることを目指す。

（注9）文章の内容に適した感情豊かなフォントで表現：本実証実験の開催期間中に適宜実施。※こちらの取り組みに関する実施予定などの情報は「エキマトペ」のサイトに掲載しますので、ご確認ください。＜https://ekimatopeia.jp/＞