ecbeingの太田です。

先日、当社の代表としてASCII社さん×マイクロソフト社さん主催の生成AIコンテスト「AI Challenge Day」に参加してきました！今回はそのコンテストに参加してきたレポートを赤裸々にお届けしようと思います。

会場

会場は神戸の「Microsoft AI Co-Innovation Labs」でした。

神戸の海と山を一望できる素敵なお部屋を借りて、開発させていただきました✨️

どの部屋を使うかは、AIのイベントにも関わらずアナログな（笑）くじ引きで決めたのですが、、、幸運なことに1番大きい部屋だったようです！

会場内はとても広く、ノビノビと過ごすことができました。

コンテスト概要

今回のコンテストは、Microsoftのパートナー向けに案内されたものでした。応募多数だったそうですが、幸運なことに当社も選出させていただきました。

同じグループの企業の中で生成AIに詳しい、株式会社ソフトクリエイトのエンジニア3人と、当社ecbeingのエンジニア2人、合計5人 で参加して参りました！

メンバーのうち4人が4、5年目の若手でした。参加企業の中では最も若いメンバーだったと思います。

お題

コンテストのテーマはずばり「世界遺産トラベルアシスタント」を開発することでした。具体的には、事前に開催者さんが準備した「世界遺産に関するデータセット」＋「実際には存在しない仮想遺産のデータセット」をもとに、RAGアーキテクチャの精度を競うという内容でした。

RAGアーキテクチャとは、データベースや検索エンジンから情報を入手し、生成AIにコンテキストとして付加することで、生成AIが本来持つ知識以外にも答えられるようになるという手法です。ここでは詳細は割愛します。

コンテストは 2日間 行われましたが、2日目のお昼には成果物を提出し、午後に発表でしたので実質1日弱しかありませんでした。

開発

衝撃のお題発表

今回のお題が発表されたとき、我々のメンバーは全員面食らいました。

なぜなら、コンテストがマルチモーダルに対応する前提であったからです。マルチモーダルとは、テキスト・画像・音声・動画など複数の種類のデータを一度に処理することです。

コンテストのデータセットには「画像」「PDF」「Wordファイル」「PowerPointファイル」が含まれていて、これらのデータも生成AIで利用する必要がありました。

参加メンバー一同、テキストによるRAGアーキテクチャの構築経験はありましたが、画像やPDFのRAG構築経験は全く無かったのです！

しかしそこで折れる我々ではありませんでした。構成について1~2時間話し合ったうえで、試行錯誤しながら開発を進めました。

なんとか形になった

1~2時間ほど実装方法について議論したうえで、役割分担をして開発を始めました。

大きく分けると3つの役割に分かれました。

APIの開発
フロントエンドの開発
データセットの加工、インデックス化

特に「PDFデータ」の取り扱いには苦しめられました。

PDFの中には画像とテキストが両方含まれています。

「どのページにどんな文章があって、どの画像が対応している」ということをAIに伝えるため、我々は画像と文章のインデックスを分割することにしました。そして、ファイル名とページ数が一致するようにして整合性をもたせました。

そして、生成AIに与えるコンテキストには文章と画像の両方の情報を付加しました。

エンドユーザーの質問に画像がなければ、文章インデックス＋一致するページの画像情報をコンテキストとする。
エンドユーザーの質問に画像があれば、画像インデックス＋一致するページのテキスト情報をコンテキストとする。

結果

RAGの精度を25点満点のスコアで測る仕組みを用意していただいており、我がチームは 18.525点 でした。他のチームも我々と ±2点くらいでしたので、全く歯が立たなかったというわけではありませんでした。むしろマルチモーダル未経験の状態から1日でよく頑張ったと思います。

とはいえ、時間があればもっとスコアが伸ばせたのではないかと悔しい気持ちもあります。

事前に「RAG精度向上のアプローチ」も参加メンバーで用意していたのですが、結局、マルチモーダルの仕組みを構築した時点でタイムアップ となってしまいました。

RAG精度向上のサイクルを回すことができていれば、スコア最高点も夢ではなかったと思っています。悔しい！

感想

2日間という短い期間でしたが、その中でマルチモーダルで 動くものを作ることができた のは大変喜びでした。特に、「画像」「PDF」に関する質問にAIが答えた瞬間は、参加メンバー一同、最高の笑顔でした。おそらく普段の仕事で同じことをしても、1週間、もしかすると2週間かかったのではないかと思います。

▲熱心に議論するメンバー達

また、実際に取り組んだお題に対する他社のアプローチを聞けたのも勉強になりました。実際に自分達が2日間一生懸命取り組んだテーマですので、より身に染みるものがありました。これは手を動かした人にしか分からないと思います。最後に行われた懇親会でも、マイクロソフト社員さんや他社さんに色々な裏話を聞くことができました。

大きく成長できた2日間でしたし、機会があればリベンジしたい と考えています。

主催いただいたASCII様、日本マイクロソフト様、参加した他の企業様、同じチームのメンバー一同、送り出してくれた弊社のみなさま、本当にありがとうございました！