こんにちは。AaaS Tech Labの髙橋です。

私は2024年6月に開催されたコンピュータービジョンの世界最高峰の国際学会であるCVPR (Computer Vision and Pattern Recognition Conference)[1]にバーチャル参加をしてきました。

AaaS Tech LabではこれまでにSHOOT！ WORLD PROJECT[2]やデジタル未来アート展「AI Room Generator」[3]などコンピュータビジョン技術を活用したメディアコンテンツの開発に積極的に取り組んできました。また、普段の業務でも広告画像や動画データ解析にも取り組んでおり、コンピュータビジョン技術の重要性が増しています。こうした背景からAaaSにおけるソリューション開発やメディアコンテンツ開発に応用するために、PLPという社内制度を活用してCVPRにバーチャル参加してきました。

※PLP（パーソナライズド・ラーニング・プログラム）とは自分のキャリア形成や勉強のために必要な費用を、会社が負担してくれる制度です。

本コラムではCVPR×アートに関する取り組みを簡単に紹介します。

まず、アートに関連するワークショップとして「Track on Content Creation」が開催され、AIを活用したコンテンツ生成やアート、デザインに関する取り組みが議論されました。このトラックでは5つのワークショップがあり、特に7th Workshop on Computer Vision for Fashion, Art, and Design[4]はファッションやアートに関するワークショップ でした。各ワークショップでは論文の募集も行われますが、それだけではなく、本ワークショップではニュース・メディア・アーティストの方によるコンピュータービジョン技術が文化に与える影響や生成AIをアーティストの新たな創作ツールとして利用する方法が議論されました。創造性や文化に関する視点が深く掘り下げられていたのが印象的でした。アーカイブはYouTubeで公開されているので、興味があればぜひご覧ください。[5]

また、カンファレンス内の専用スペースでAI Art Galleryが開催されました。AI Art Galleryでは、コンピュータビジョン技術を活用したアート作品や既存技術の独創的な応用、そして技術に対する批判的または代替的な視点を持つ作品が募集されていました。展示された作品はサイト[6]からも確認可能です。

この中で私が注目したのは3D Gaussian Steganography[7]という作品です。Steganographyとは情報を他の情報に埋め込む情報隠蔽技術のことです。つまり、3D Gaussian Steganographyとは、2D画像を3D Gaussian Splattingによって作り出される3D空間に隠蔽する技術です。

この技術を用いて、AaaS Tech Labの2022年 ~ 2024年の集合写真を3D空間隠蔽してみました。

基本的にはノイズで隠れているのですが、ある視点から見ると画像が鮮明に見え非常に面白い技術ですね。

この技術の仕組みを簡単に紹介します。入力は3枚の画像です。

まず画像を読み込んで、カメラが撮影された位置を決定します。使用したコードでは画像1を中心に左右に45度回転した場所にカメラ位置を設定しました。また、直行するように黒い画像を設置しており、これにより3D Gaussian Splattingが2D平面に制約されることによって、このような3D空間が作成できると著者は述べていました。

このコードで前処理を完了させると、あとは3D Gaussian Splattingを学習させることで、上記で紹介したような3Dモデリングが可能となります。

これまでにNeRFや3D Gaussian Splattingの技術は触ってきましたが、2D 画像を3D空間に隠蔽するという発想は今までにないものでした。また、本来はノイズがないように鮮明な3Dシーンを生成する技術ですが、モデルによって発生するノイズを隠蔽に使うという逆転の発想は非常に興味深い取り組みでした。

このようにAaaS Tech Labでは最先端の技術のキャッチアップし、ソリューション開発やメディアコンテンツ開発への応用を模索しています。もし興味をお持ちの方がいらっしゃれば、ぜひcontactからお問い合わせください。また、採用活動も行っておりますので、興味のある方は採用サイト[8]からの応募もお待ちしています。