VR技術を適用し、リアルな臨場感と日常感覚を生むポスターセッションを実現 ~TEC-J総会でMozilla Hubsを適用する試み

VR技術を適用し、リアルな臨場感と日常感覚を生むポスターセッションを実現 ~TEC-J総会でMozilla Hubsを適用する試み

恒例のポスターセッションをオンライン開催へ

新型コロナウイルス感染症拡大の影響で、リモートワークやWeb会議などが急速に普及し、ビジネスを含めさまざまなエリアでコミュニケーションスタイルが大きく変化した。筆者らが所属している日本IBMの社内技術者コミュニティであるTEC-Jの活動も同様で、ワーキンググループの日々の研究活動や年2回春と秋に開催している総会もすべてWeb会議アプリケーションを用いたリモート開催となった。

活動の中で特に問題となったのが、総会中に開催されるポスターセッションである。ポスターセッションは会場を訪れた社員が自由に歩き回り、自分の興味のあるワーキンググループの研究発表を聞いて直接交流を図る場であり、毎回盛り上がりを見せるが、リモート開催にしてみるとオンライン上のコミュニケーションならではの課題が浮き彫りになった。たとえば、画面越しに相手の顔を見ながら会話できるとはいえ、「立ち話や雑談が生まれにくい」「来場した際に得られる出会いや、交流のきっかけ作りが難しい」といった声が数多く上がった。

そこで筆者らはTEC-Jの運営事務局と共同で、Web VRプラットフォームの「Mozilla Hubs」を用いたポスターセッションを開催した。本稿は2020年秋と2021年春に開催した2回の“VRポスターセッション”で筆者らが行った試行錯誤や、実施して得られた課題や解決策を共有するものである(図表1、図表2)。

図表1 2020年秋のポスターセッションの様子 図表2 2021年春のポスターセッションの様子
図表1 2020年秋のVRポスターセッションの様子
図表2 2021年春のポスターセッションの様子
図表2 2021年春のVRポスターセッションの様子

プラットフォームの選定

まず始めにプラットフォームは、ポスターセッションへの参加のしやすさを重視して、Mozilla Mixed Reality Groupにより開発されている「Hubs」というWeb VRプラットフォームを選択した。HubsはWebブラウザさえあれば誰でも簡単にURLリンクからアクセスでき、専用ソフトウェアのダウンロードやインストールが不要である。また、ユーザー登録も不要である。Hubsは非常に簡単に始められ、Webブラウジング感覚でVRを体験できるので、VR初心者におすすめのプラットフォームである。

プロトタイプの作成

Hubsを用いたポスターセッションの開催は初めてであり、従来行ってきたポスターセッションと比較して、どこまで、何ができるのかを見極める必要があった。

そこで図表3に示すようなプロトタイプを最初に作成した。Hubsでは1つのVR空間を「ルーム」と呼んでおり、無料のサンプル・ルームが多数公開されている。筆者らが作成したプロトタイプは「Gallery with furniture」と呼ばれるサンプル・ルームをカスタマイズし、プロトタイプ評価に必要な過去のポスター資料、TEC-Jロゴ画像、動画などを追加して作成した。

図表3 作成したプロトタイプ
図表3 作成したプロトタイプ

プロトタイプの作成後は、音声と映像による説明、参加者による質疑や資料閲覧など、過去の会場開催時におけるユースケースをもとにさまざまな実験を行い評価した。ユーザーによってはHubsのルームへの入室の際に動作が重かったり、1つのルームで最大25名というHubsが推奨する上限に近づいた場合、負荷集中によって会話やVR空間の動作が不安定になるなど、いくつかの課題が見つかった。これらの課題への対応については、次の「会場設計」の項で紹介する。評価にはVRに慣れていない人にも参加してもらい、フィードバックを得た。

バーチャル会場の設計

プロトタイプをもとにしたポスターセッション会場の設計にあたっては、さまざまなことを考慮する必要があった。プロトタイプのルームは5~6のワーキンググループの展示を想定して作成したが、TEC-Jのワーキンググループは約40あり、その大半がポスターセッションを実施する。さらに総会への参加申込数は600人を超えるため、ポスターセッションの会場も数百人の来場に耐え得る必要があると考えた。

図表4にHubsの制約・推奨値とそれに対する考慮点をまとめた。1つのルームに説明員を含めて最大25人までしか入れないので、1ルームの展示数を5~6ワーキンググループとした。その結果、会場は7つのルームが必要になり、ルーム間の移動はURLリンクを辿ることで行うことにした。

各ルームは同じデザイン構成であるので、移動した際に区別できるよう壁の色を違えるようにした。また、各ルームを一覧する案内ページを用意し、そこにHubsの簡単な操作方法も掲示して、参加者に周知するようにした。ルーム内のオブジェクトについては、各ワーキンググループで展示するオブジェクト数を10程度に制限し、Webブラウザへの負荷を軽減するようにした。これまでのポスターセッションはA4用紙6~9枚で展示オブジェクトを作成していたが、VR会場ではオブジェクト数を減らすため、複数ページを1つのイメージ・ファイルにまとめる工夫を行った。

図表4 Hubsの制約・推奨値とそれに対する考慮点
図表4 Hubsの制約・推奨値とそれに対する考慮点

シーン設計のためのチューニング 

Hubsでは、ルーム内の壁や床などのオブジェクトをひとまとめにしたものを「シーン」と呼んでいる。ルーム自体は何もないただの空間であり、シーンを取り込むことで初めて壁や床が現れる。そのシーンの開発用ツールである「Spoke」を使用して、負荷をなるべく抑えるようチューニングを行った。チューニングの手順・内容は以下の通りである。

(1)シーンをパブリッシュする際にパフォーマンス・チェックのウインドウが表示されるので、そこに示される数値が推奨値内に収まるように図表5のチューニングを行った。

図表5 シーン設計のパフォーマンス・チューニング
図表5 シーン設計のパフォーマンス・チューニング

(2)シーンを完成させてからルームに入り、細かい調整を行うことにした。アバターの目線から見たポスターの高さや、イメージに変換した文字の大きさ、動画の音量などの確認である。特に動画の音声についてはSpokeで細かく調整できるので、図表6に示すように音響の特性を設定した。

図表6 動画の音響設定の例
図表6 動画の音響設定の例

1回目の経験を踏まえて改善に取り組む

2020年秋のTEC-J 総会で行った初めてのVRポスターセッションは、「会場に出向いて人と会ったときのような雰囲気が感じられた」と好評だったが、筆者らからすると初めての経験ゆえの不十分な点もいくつか残った。そこで2021年春の総会のVRポスターセッションでは、1回目の経験を踏まえて、次のような改善を行った。

(1)作業負荷の軽減
1回目は、ポスター画像を1つ1つ壁に直接貼り付ける方法でシーンを作成したため、ポスターの編集作業がシーン開発者に集中し、シーン開発者の作業負荷が大きくなっていた。2回目は、壁にあらかじめ「Media Frame」 (イメージを後から配置できるフレーム)を貼っておき、Media Frameへのドラッグ&ドロップでポスター画像を配置できるようにした。これにより、シーン開発者以外でもポスター画像を貼れるようになった。

(2)ルーム・デザインの改良
1回目は黒を基調としたモダンな展示会場であったが、壁が多く閉塞感があった。2回目は海外の社員にも日本のポスターセッションをアピールできるよう、桜や日本をイメージした開放的な屋外展示場に改良した。

(3)ルームの混雑状況の緩和
1回目はルームの一覧ページから各ルームへ誘導したため、来場者は必ず1番目のルームから訪問してしまい、1番目のルームが慢性的に混雑していた。2回目はルームの一覧ページに各ルームの混雑状況を表示し、混雑を緩和させた。この対応については、次節で詳しく述べる。

混雑情報の提供と入室制限による混雑の緩和 

1回目のポスターセッションでは各ルームのURLを公開しアクセスしてもらうようにしたが、2回目は図表7(上)のようなポータルページを用意し、そこで各ルームの混雑状況をリアルタイムに表示するとともに、混雑時には入室制限を行うことで負荷の集中を防ぐ仕組みにした。ルームごとに「入室する」ボタン、入室者数と混雑状況、展示内容を含んだカードを配置して、各ルームの入室者数をリアルタイムに変化させる仕組みである。またHubsの推奨値である「1ルーム25名」に達した場合は、「入室する」ボタンが押せなくなるようにした。これにより参加者はポータルページを見て、見学の順番を計画することができる。

図表7(上) 混雑状況を知らせるポータルページ
図表7(上) 混雑状況を知らせるポータルページ
図表7(下) 混雑状況を知らせるポータルページの部分を拡大
図表7(下) 混雑状況を知らせるポータルページ(部分を拡大)

混雑状況の表示には、各ルームに入室している参加者数を外部プログラムからモニターし、それを参加者に知らせる仕組みが必要となる。図表8にHubsの主要コンポーネントを示した。

Hubsの主要コンポーネント
Hubsの主要コンポーネント

Hubsは、JavaScriptなどのWebコンテンツ(以下、Hubsクライアント)をブラウザにロードして動かすことによりブラウザ内に仮想空間を構築し、ブラウザ画面を操作することでルーム内を移動し、ブラウザに接続されたスピーカやマイクにより会場内の参加者と会話することが可能となる。

ユーザーは各ルームに割り当てられたURLにアクセスすることで、hubs.mozilla.comから仮想空間の構築に必要なクライアントをロードし、それを動かすことでルームに入室できる。仮想空間内のユーザーのビデオ・音声のストリーミング処理は、オープンソースのWebRTC「Janus」を使って構築されたSFUサーバーが担い、それ以外はElixir/Phoenixで作られた「Reticulum」と呼ばれるWebアプリが処理する。

今回取り上げる各ルームへの参加者の入退室イベントの管理はReticulumが行い、ルーム内の参加者の状態に変化(入退室、移動など)があったときに各クライアントにイベントを送信し、ブラウザの表示を更新する。イベントの送信はクライアントとReticulumの間で確立されたWebSocketによって即座に行われる。ユーザーはルームに入室するとルーム内のユーザーの一覧を知ることができるが、これはReticulumからのイベントによるものである。

このWebSocket上を流れるプロトコルを理解し、ブラウザの代わりに外部プログラムで同等のやりとりが可能になれば、ルーム内の参加者数をモニターし、それらをこれから参加しようとする人たちに知らせることができる。このプロトコルは公式にはドキュメントの形で公開されていないため、著者らはブラウザの開発者ツールを用いたモニタリングを行い、あわせてMozilla Hubsのソースコードリポジトリにあるソースコードを調べることで、このプロトコルを理解し、Pythonによる代替実装を行った。

図表9に2回目のVRポスターセッション用に著者らが開発したシステムの概要を示した。参加者は図中のApp Serverにアクセスしてポータルページを表示する。次にhubsmon-node-balancerにアクセスし、どのhubsmon-nodeから混雑状況を受信するかを知り、これに接続する。500人程度が同時にポータルページにアクセスしても混雑状況を知ることができるように、hubsmon-nodeは3つのインスタンスで構成した。

モニター対象は12ルームで、これらを前述のPython実装のモニタープログラム(図中のhubsmon-master)が各ルームから入退室イベントを受信し、受信したイベントはRedisサーバーのPub/Subの機能を用いてhubsmon-nodeを経由して参加者のブラウザに送信される。これらはIBM Cloud上にデプロイされ、開発期間を含め1カ月程度で数千円の使用料金で安価に実現することができた。開発したモニターシステムの詳細については、Github (https://github.com/ohtanim/hubsmon)で公開されている。

TEC-J 2021春のVRポスターセッションに向けて著者らが開発したシステム構成
図表9 TEC-J 2021春のVRポスターセッション用に開発したシステム構成

VRの適用によりリアルな臨場感と日常の感覚  

本稿ではTEC-Jの2回のVRポスターセッションで著者らが行った試行錯誤や、実施してみて得た課題や解決策を共有した。

今回ポスターセッションにVRを適用してわかったことは、リアルな会場(事業所)で開催していたときのような臨場感を体験できただけでなく、会社の廊下でばったり出会って立ち話をするような、そんな日常の感覚を与えてくれるということだった。ポスターの前に大勢の人が集り、白熱した議論を展開している場面なども見られた。また、これまで参加が難しかった地方の社員が新たにワーキンググループに加わるなど新しい成果も見られた。筆者らが感じた従来の会場開催とVRを適用したポスターセッションの違いを図表10にまとめた。

図表5 シーン設計のパフォーマンス・チューニング
図表10 従来の会場開催のイベントとVRイベントの比較

今後新型コロナの状況が収束した後も、従来のようなオフィスに集まる体制に戻れるかわからないところがあり、従来通りのポスターセッションを行えるかも不透明である。今後はリアルとVRの同時開催の形式もあるかもしれない。特にAR/MRグラスが普及したらリアルなポスターセッションにバーチャルなオブジェクトを配置し、オンサイトとリモートの参加者が混在するようなハイブリッドなポスターセッションも可能になるだろう。そのための技術は既に実用レベルに達しつつある。

 


著者|

大谷 宗孝氏

日本アイ・ビー・エム株式会社
研究開発
シニアソフトウェアエンジニア、IBM Master Inventor、IBMアカデミー会員

日本IBM入社以来、一貫してソフトウェア製品開発に従事。IBM Analytics製品の基幹ソフトウェアInformation Sever DataStageやヘルスケア領域でのクラウドの開発を行う。2016年から2019年までTEC-J Vice President、2018年よりIBMアカデミー会員およびIBM Master Inventorに就任。現在はお客様とIBM研究開発部門の「共創」を支援。TEC-JではXRプラットフォーム・ワーキンググループほかに参加。

大谷氏 TEC-J

・・・・・・・・

石本 健也氏

日本アイ・ビー・エム株式会社
ソフトウェア&システム開発研究所 (TSDL)
システムズ・ソフトウェア開発担当

2018年から2020年までTEC-J Steering Committeeメンバー。2017年から現在までTEC-J XRプラットフォーム・ワーキンググループで活動。本業はメインフレーム・アプリケーション開発を支援するツール製品の開発マネージャー。VR/MRヘッドマウントディスプレイがいつの間にか増えて部屋に9台。最近3Dプリンターを購入。

石本氏  TEC-J

・・・・・・・・

小野 真樹氏

日本アイ・ビー・エム株式会社
グローバル・ビジネス・サービス 
ハイブリッド・クラウド・サービス
ITスペシャリスト

TEC-J Steering Committeeデジタル広報担当

インターネットやWebアプリケーションの製品スペシャリストを経て、APIマネジメントの製品スペシャリストとなり、銀行、保険、製造業界でAPIマネジメントやデジタル・サービス基盤の構築を担当してきた。また、TEC-JではIT業界の未来を見据え、VRスキル強化のためのワーキング・グループを立ち上げ、活動してきた。

小野氏  TEC-J

 

本記事は筆者ら個人の見解であり、IBMの立場、戦略、意見を代表するものではありません。


当サイトでは、TEC-Jメンバーによる技術解説・コラムを掲載しています。

TEC-J技術記事https://www.imagazine.co.jp/tec-j/

[i Magazine・IS magazine]

More Posts