デジタル未来アート展「AI Room Generator」

Ver01.

about member works project column contact

2024.07.03

AaaS Tech Labは、2024/3/16(土) ~ 3/24(日)に福島県会津若松市生涯学習総合センターで開催された『デジタル未来アート展』[1]にて、「AI Room Generator」を出展しました。
本プロジェクトは、会津大学と博報堂ＤＹメディアパートナーズとの共同研究の一環として行われました。

「AI Room Generator」は、会場内に設置されたタブレット端末で来場者の顔写真を1枚撮影し、その写真の情報のみからAIにより性別や年齢・趣味といったプロフィールの推論がなされ、その結果を基に “来場者が住んでいるであろう部屋” を生成し、等身大に投影するシステムです。

[プロフィール推論結果例]

[部屋画像生成結果例]

AaaS Tech Labでは、企画立案からAIのロジックやアプリケーション開発 (フロントエンド/バックエンド) の実装まで全て行いました。
展示は計9日間開催されましたが、業務の都合上、会場に滞在可能だったのは初日のみで大半の期間、自動で動作するシステムを構築する必要がありました。

顔写真から来場者のプロフィールを推論する処理、および部屋画像生成用のプロンプトの自動生成処理にはGPT-4V、部屋画像の生成にはStable Diffusion XL + ControlNetで実装しています。

今回は等身大かつ、同じ視点からの部屋画像を生成する必要があったので、以下画像のように簡単な部屋の模型を作り、この画像をベースにControlNetを使って変換しています。
模型のうち立方体の箇所が、抽象的な物体の役割を果たし、プロンプトによってソファーやデスク・本棚など、自在に変化する結果となりました。

また、本システムを実装するにあたって、OpenAIやStable Diffusionなどインターフェースの異なるAPIを複数扱う必要があり、こうしたAPIを同じような呼び出し方ができるように、FastAPIで実装することによって、APIを呼び出しやすいように工夫を行いました。

約10日間に渡る展示を行った結果、総体験回数は796回、うち体験について「満足」と答えた人の割合は88.2%、「自分らしさを感じた」と答えた人の割合は76.5%と好評な評価をいただくことができました。

同じ人が表情や服装を変えることで部屋画像の変化を楽しんだり、スマートフォンを使ってWeb上で武士の画像を検索・表示し、その画面を撮影させて江戸時代のような和室の部屋を生成したり、様々な「AI Room Generator」の楽しみ方がされていました。こうした新たなコンテンツの楽しみ方が発見されるのもインタラクティブに動くシステムの面白さである、と改めて実感することができました。

この場を借りて、本展示の機会をくださった会津大学畠研究室、デジタル未来アート展スタッフ関係者の方々に感謝申し上げます。

AaaS Tech Labでは、ビジネスの最適化などを目的としたデータサイエンス活用はもちろん、メディア・コンテンツ領域へのAI技術応用も進めております。もしご興味を持っていただけた方がいらっしゃいましたらcontactからご連絡いただけますと幸いです。

<!—— SHARE ——>