お知らせ
[2024/09/18] 開会式の録画を公開しました。RAG-1グランプリ開催の意図や概要について説明しております。コンペティションに参加される方は是非ご視聴頂けますと幸いです。
https://youtu.be/DulYeqg4t3Q
22:45 RAGコンペティション開催の意図
37:20 コンペティション概要
44:52 質疑応答
[2024/09/05] 以下の日程で開会式を開催いたします。
■開会式概要
- 日時:2024年9月12日(木)18時~19時30分
- 参加方法:https://techplay.jp/event/956619
- 開会式プログラム
- 開催挨拶
- 生成AI活用におけるRAGの重要性と、企業の具体事例/ 株式会社Workstyle Evolution代表取締役 池田 朋弘 様
- RAGコンペティション開催の意図 / 株式会社 SIGNATE 代表取締役社長 齊藤 秀
- コンペティション概要説明
- Q&A
背景と目的
近年、生成AI、特に大規模言語モデル(LLM)の進化は飛躍的であり、その応用範囲は日々広がっています。しかし、LLMの実用化には依然として課題が残されています。その最大の障壁の一つが「ハルシネーション」、つまりモデルが誤った情報や存在しない事実を生成してしまう現象です。この問題は、特にビジネス利用において深刻な影響を及ぼし、LLMの広範な採用を妨げる要因となっています。この課題に対する有力な解決策として注目されているのが、Retrieval-Augmented Generation(RAG)技術です。RAGは、LLMの知識を外部の情報源で補完し、モデルの知識不足を克服する技術であり、社内の膨大な情報を効果的に活用する手段として多くの企業から注目されています。しかし、RAGはまだ黎明期にあり、標準化された手法や確立されたノウハウが十分ではないため、多くの企業がどのようにRAGを構築すべきかが分からない、あるいは構築しても期待通りの結果が得られないという課題に直面しています。
本コンペティションでは、与えられたデータセットと課題に基づき、最適なRAGシステムを構築し、その性能や精度を競っていただきます。そして、これを通じてRAG技術の可能性を探求すると同時に、データの前処理、検索アルゴリズムの選択、LLMとの統合方法など、RAGの具体的な実装手法に関する知見を得て、共有することを目的としています。
皆様のご参加を心よりお待ちしております。共に、LLMとRAGの未来を切り拓いていきましょう。
コンペティション投稿者特典「RAG-1グランプリ知見レポート」
本コンペティションの投稿者にはもれなく、コンペティションで得た知見を集約した知見レポートを特典としてお渡しいたします。今後のビジネスや研究開発に是非ご活用ください。
課題
本コンペティションでは、著作権が切れた小説データを用いてRAGシステムを構築していただきます。提供された小説データを元に、質問(query.csv)に対する回答を生成し、その回答の精度を競います。 生成した回答は、指定のフォーマット(提供データのsample_submission.csvをご参照ください。)に従い、投稿してください。今回の課題にフォーカスしたRAGシステムの構造イメージ
本コンペティションは、RAGの具体的な実装手法に関する知見を得て、共有することを目的として開催しております。ご参加者の皆様には、本目的をご理解いただき、以下の事項のご協力をお願い申し上げます。
- 入賞者の上位20名にはRAGの具体的な実装に関するレポートの提出をお願いしております。(レポートの提出を入賞の条件とさせて頂いております。詳細は評価方法タブの「入賞者決定の流れ」をご確認ください。)
- 提供された小説データを必ず利用してRAGを構築してください。
- 提供された質問を入力とし、RAGを通じて出力された回答のみが評価対象となります。(手動で問題を解くことは禁止します。)
- 質問の回答とは関係のない投稿(評価のプロンプトをハックする等)は禁止します。
- 投稿後、サーバーから通知される評価結果情報は精度改善の参考にご利用ください。また、本評価情報を入力とするアルゴリズムの実装は禁止となります。
*投稿結果によっては個別に連絡させていただく場合がございます。
※質問の内容、評価方法など、RAGの技術は世の中ではまだまだ確立されておりません。そのため本コンペは、実験的に開催しています。改善点やご意見がありましたら、ぜひお知らせください。皆様のフィードバックをもとに、今後の改善に役立てたいと考えています。