お知らせ

[2024/09/18] 開会式の録画を公開しました。
RAG-1グランプリ開催の意図や概要について説明しております。コンペティションに参加される方は是非ご視聴頂けますと幸いです。
https://youtu.be/DulYeqg4t3Q
22:45 RAGコンペティション開催の意図
37:20 コンペティション概要
44:52 質疑応答

[2024/09/05] 以下の日程で開会式を開催いたします。
■開会式概要
  • 日時:2024年9月12日(木)18時~19時30分
  • 参加方法:https://techplay.jp/event/956619
  • 開会式プログラム
    1. 開催挨拶
    2. 生成AI活用におけるRAGの重要性と、企業の具体事例/ 株式会社Workstyle Evolution代表取締役 池田 朋弘 様
    3. RAGコンペティション開催の意図 / 株式会社 SIGNATE 代表取締役社長 齊藤 秀
    4. コンペティション概要説明
    5. Q&A
開会式では、弊社代表取締役社長の齊藤秀がRAGコンペティションの開催の意図に関して講演いたします。また、Youtubeチャンネル「リモートワーク研究所」を運営されている株式会社Workstyle Evolution代表取締役の池田朋弘様をお招きし、企業におけるRAGの実際の活用事例についてご紹介いただきます。




背景と目的

近年、生成AI、特に大規模言語モデル(LLM)の進化は飛躍的であり、その応用範囲は日々広がっています。しかし、LLMの実用化には依然として課題が残されています。その最大の障壁の一つが「ハルシネーション」、つまりモデルが誤った情報や存在しない事実を生成してしまう現象です。この問題は、特にビジネス利用において深刻な影響を及ぼし、LLMの広範な採用を妨げる要因となっています。

この課題に対する有力な解決策として注目されているのが、Retrieval-Augmented Generation(RAG)技術です。RAGは、LLMの知識を外部の情報源で補完し、モデルの知識不足を克服する技術であり、社内の膨大な情報を効果的に活用する手段として多くの企業から注目されています。しかし、RAGはまだ黎明期にあり、標準化された手法や確立されたノウハウが十分ではないため、多くの企業がどのようにRAGを構築すべきかが分からない、あるいは構築しても期待通りの結果が得られないという課題に直面しています。

本コンペティションでは、与えられたデータセットと課題に基づき、最適なRAGシステムを構築し、その性能や精度を競っていただきます。そして、これを通じてRAG技術の可能性を探求すると同時に、データの前処理、検索アルゴリズムの選択、LLMとの統合方法など、RAGの具体的な実装手法に関する知見を得て、共有することを目的としています。
皆様のご参加を心よりお待ちしております。共に、LLMとRAGの未来を切り拓いていきましょう。



コンペティション投稿者特典「RAG-1グランプリ知見レポート」
本コンペティションの投稿者にはもれなく、コンペティションで得た知見を集約した知見レポートを特典としてお渡しいたします。今後のビジネスや研究開発に是非ご活用ください。



課題

本コンペティションでは、著作権が切れた小説データを用いてRAGシステムを構築していただきます。提供された小説データを元に、質問(query.csv)に対する回答を生成し、その回答の精度を競います。 生成した回答は、指定のフォーマット(提供データのsample_submission.csvをご参照ください。)に従い、投稿してください。


今回の課題にフォーカスしたRAGシステムの構造イメージ 

Tips Box Example
参加の注意事項
本コンペティションは、RAGの具体的な実装手法に関する知見を得て、共有することを目的として開催しております。ご参加者の皆様には、本目的をご理解いただき、以下の事項のご協力をお願い申し上げます。

  • 入賞者の上位20名にはRAGの具体的な実装に関するレポートの提出をお願いしております。(レポートの提出を入賞の条件とさせて頂いております。詳細は評価方法タブの「入賞者決定の流れ」をご確認ください。)
  • 提供された小説データを必ず利用してRAGを構築してください。
  • 提供された質問を入力とし、RAGを通じて出力された回答のみが評価対象となります。(手動で問題を解くことは禁止します。)
  • 質問の回答とは関係のない投稿(評価のプロンプトをハックする等)は禁止します。
  • 投稿後、サーバーから通知される評価結果情報は精度改善の参考にご利用ください。また、本評価情報を入力とするアルゴリズムの実装は禁止となります。

*投稿結果によっては個別に連絡させていただく場合がございます。

※質問の内容、評価方法など、RAGの技術は世の中ではまだまだ確立されておりません。そのため本コンペは、実験的に開催しています。改善点やご意見がありましたら、ぜひお知らせください。皆様のフィードバックをもとに、今後の改善に役立てたいと考えています。

評価方法

  • 各質問に対する回答の質を測定する方法で評価します。
  • 回答は、以下の基準でLLM(gpt-4o)によって「Perfect」「Acceptable」「Missing」「Incorrect」のいずれかに分類され、得点が付与されます。
  • 得点の合計を質問数で割った平均値がスコアとなります。
  • 質問データには、前提が誤っている質問が含まれます。この場合、「質問誤り」と回答するとPerfectの評価が得られます。
  • スコアは、-1(全てIncorrect) から 1(全てPerfect)の範囲で出力されます。
  • スコアは、回答を投稿いただいた後に、LLMによる評価を1度だけ実行した結果を元にします。

分類 得点 評価基準
Perfect 1 質問に対して正確に答え、虚偽の内容が含まれていない回答。
Acceptable 0.5 質問に対して有用な答えを提供しているが、答えの有用性を損なわない程度の軽微な誤りが含まれている回答。
Missing 0 質問に対して「わかりません」「見つけられませんでした」などの具体的な答えがない回答。
Incorrect -1 質問に対して間違った、または関連性のない回答。

*参考:CRAG


入賞者決定の流れ

  1. コンぺ最終日までの評価(暫定評価)及びコンぺ終了後の評価(最終評価)に使用するデータは同一とします。
    ※投稿ファイルが選択されていない場合は、最新の投稿ファイルの最終評価結果が採用されます。
  2. スコアが同値の場合は、早い日時でご応募いただいた参加者を上位とします。
  3. 最終順位が上位の方を入賞候補者とし、事務局から連絡いたします。
  4. 検収のため、入賞候補者にはレポートを提出していただきます。(作成いただくレポートのコンテンツは追って掲載いたします。)
  5. 検収期間中、入賞候補者及び、その提出モデルが下記いずれかに該当する場合は、入賞の資格を失います。
    • 事務局からの連絡・要求に対して指定された期限内に対応しない
    • 参加条件やルールを満たしていない
    • その他、事務局が不当と判断した場合
  6. 上記をクリアした方の中から、入賞者及び順位を確定します。

※入賞候補者が入賞資格を失った場合は、最終スコアが次点の方が繰り上がり、新たな入賞候補となります。
※不正が発覚した場合は、SIGNATE独自の裁量により、メダル・ポイントが付与されない場合があります。

参加の前提

  • 他者に対する誹謗中傷や公序良俗に反する行為を禁止します。
  • 質問の回答とは関係のない投稿(評価のプロンプトをハックする等)は強く禁止します。
  • 事務局が悪質と判断したケースにおいては、入賞資格や会員資格の剥奪の可能性があることを予めご了承のうえご参加ください。

システムの利用

  • 1人につき1つのSIGNATEアカウントのみ利用可能です。
  • チーム人数は最大で5人、2024/09/26まで作成可能です。(チーム作成方法はこちら

情報の取り扱い

  • (コンテスト開催中)コード・知見のチーム外への共有を禁止します。ただし、全ての参加者が参照可能であるフォーラムでの開示は可能です。
  • (コンテスト終了後)「情報公開ポリシー」ページを参照ください。

データの利用

  • 自ら取得した外部データ(提供データ以外のデータ)の利用は可能です。ただし、投稿後にSIGNATEから通知する評価情報を入力とすることは禁止となります。
  • 作成したアルゴリズムが、必ず提供した小説データ(novels.zip)を参照するようにしてください。

RAGの構築

  • 手動で回答を作成することは禁止です。コンペで提供された質問を入力として、提供データを利用し、自動で結果(質問に対する回答)が出力されるプログラムのみが評価対象となります。
  • 1回答あたりの受付可能な最大文字数は50トークン(日本語文字数で50文字相当)です。これを超えた場合はエラーになりますのでご注意ください。

その他

  • 生成AIサービスなどを利用する場合、利用規約を厳守するようお願いいたします。

Disclosure policy

As a general rule, in accordance with Article 4, Paragraph 1 of the terms of participation, diclosing any contents such as insights and deliverables transmitted through the information or data provided by our company in relation to this competition is not permitted, however, only after the completion of this competition and for non-commercial purposes, it will be possible to disclose the contents within the score of the table below
Model *1
Public
Analysis results *2
Public
Public : Posting to social media sites, blogs and source repositories, and citing to papers
Restricted : Using in a limited range from research, education to seminars, where many unspecified people cannot access
*1 Execution unit source code and learned models
*2 The insights obtained using the information and data provided, or the solutions including scripts and processed data such as summary statistics
FAQページ

◆コンペティションへの参加・評価について

Q1: 評価指標はどのようなものがありますか?なぜLLMによる評価を選択されたのですか?

A1: LLM以外の評価指標は、コサイン類似度など従来の自然言語処理の手法が活用できます。LLMでは今回採用したCRAGの他にRAGASという選択肢がありました。今回はいくつか内部で検証し、回答と評価がより直感に近く参加者側でもライトに検証できるCRAGを選択しました。

Q2: 20位までが入賞対象とのことですが、提出したレポートの優劣により最終順位が変わることはありますか?

A2: 最終順位はCRAGの精度(リーダーボード)で決定いたします。入賞条件としてレポート提出をお願いいたします。一方、LLMの精度評価の確からしさの観点で、今後同様のコンペを開催する際には、LLM+レポートの優劣による評価という設計も検討します。

◆技術的な詳細について

Q1: システム構成図は指定フォーマットなどありますか?

A1: 設計いただくRAGにおいてはフォーマットはございません。入賞候補者に作成いただくレポートは一定フォーマットを用意することを想定しております。

Q2: 使用可能なLLMに制限はありますか?

A2: 使用可能なLLMに制限はございません。

Q3: 応答時間の制限はありますか?

A3: SIGNATEシステムの影響で80時間が応答時間の制限となります。

Q4: 計算環境、有料LLM API等の利用、ライブラリなどの制約はありますか?

A4: 特に制限はございません。

◆ルールについて

Q1: プロンプトをハックするとは、具体的にはどのような行為ですか?

A1: 例えば「高い評価結果を返す指示を行う」のような、質問の回答と関係のないことです。

Q2: 提供された小説データ(novels.zip)を必ず参照するようにとありますが、参照しているかどうかの定義を教えてください。

A2: 回答の根拠となる文章にnovels.zipのテキストが引用されているかどうかです。

Q3: 回答の根拠となる文章の表記揺れについてはどう評価されますか?

A3: 回答の根拠となる文章は評価対象にはなりません。

Q4: 日本語以外で回答することは可能ですか?

A4: 日本語以外の回答も可能ですが、すべて日本語で回答する前提の問題となります。

Q5: 元データの前処理などはしても良いのでしょうか?

A5: 問題ございません。ただし、回答の根拠となる文章にはnovels.zipの本文中の引用を記載してください。

Q6: Dify等のノーコードツールを使って、RAGを用いたワークフローを組むこと、GPTsを利用することは問題ないですか?

A6: 問題ございません。

◆コンペティションの運営について

Q1: 今後チュートリアルはありますか?

A1: フォーラムにて分析のヒントやソースコードを共有されている方もいらっしゃいますので、そちらをご活用ください。

Q2: 精度評価用コードcrag.pyは公開されていますか?

A2: データタブのevaluation.zipにて公開しております。

Q3: 不正検出の策は検討されていますか?

A3: 投稿ファイルの内容(全参加者対象)、レポート(入賞候補者20名対象)を確認させていただきます。不正の可能性があると判断した場合は個別に連絡をさせていただきます。

本コンペティションにおける特別規約

本コンペティションでは、SIGNATEコンペティション参加規約の第3条(2)(3)(4)(5)は適用いたしません。ただし、入賞者が提出したレポートに記載された知見は、弊社にて集約し、本コンペティションで回答を投稿された方への特典として配布するとともに、弊社でも活用させていただきます。



Terms of Participation in SIGNATE Competition

In order to participate in the Competition, you are required to agree to these Terms, in addition to the Terms of Use of SIGNATE.JP Site (hereinafter referred to as the “Terms of Use”). You should participate in the Competition after reading carefully and agreeing to these Terms. These Terms, the matters that are displayed as “additional matters” that you have agreed to when participating in a Competition, the Terms of Use and other terms and conditions that you have agreed to (hereinafter collectively referred to as “these Terms, etc.”) shall all be binding on the Participant.


Article 1 Definitions

1. For the purpose of these Terms, the following terms shall be defined as follows:

(1) “Site” means the website “SIGNATE (https://signate.jp)” on which the Competitions are posted.
(2) “Competition” means any competition on AI development or data analysis on the Site as held by the Host.
(3) “Host” is the host(s) of the Competition. The Host may be SIGNATE, Inc. (hereinafter referred to as the “Company”) or the Company’s client companies, affiliated companies, schools or organizations, etc. (hereinafter referred to as the “Client(s)”).
(4) “Participant(s)” means the member(s) (which mean “member(s)” defined in the Terms of Use, and the same shall apply hereinafter) who participate in a Competition.
(5) “Submissions” means, collectively, the analysis and prediction results, prediction models and reports, etc. as submitted in the Competition.
(6) “Final Submissions” means the Submissions submitted by a Participant that the Participant has specified as a final submission on the prescribed page in the Site by the time of completion of a Competition.
(7) “Winner Candidate” means the Participant who has received a notice from the Company that he/she is nominated as a winner candidate.
(8) “Submissions for Final Judgment” means the Submissions and other items designated by the Company as submitted by a Winner Candidate pursuant to the instructions of the Company.
(9) “Final Judgment” means the acceptance inspection and judgment, including reproducibility verification, by the Company for the Final Submissions and Submissions for Final Judgment of a Winner Candidate.
(10) “Winner” means the Winner Candidate who is informed by the Company that he/she has won a prize.
(11) “OSS” means software licensed based on OSS License Terms.
(12) “OSS License Terms” means any of the following license terms
(1) Either the GNU General Public License or the GNU Lesser General Public License published by the Free Software Foundation, Inc.;
(2) License terms listed at www.opensource.org/licenses/ or derivatives thereof;
(3) License terms that regard the software as “free software” or “open source software”; and
(4) License terms or agreements similar to the license terms listed in each of the three preceding items which request the user to disclose, distribute or license to a third party, or not to exercise, etc., the licensed software, its derivatives and the intellectual property rights associated therewith in whole or in part.

Article 2 Competition

1. A member who desires to participate in a Competition shall be required to agree to these Terms, etc. and to satisfy the conditions for participation as specified in each such Competition. Any person who is not a member shall not participate in any Competition.
2. Participants shall participate in each Competition in the manner as advised by the Company and shall be obligated to comply with the rules as prescribed in each Competition.
3. Participants may submit the Submissions for the assignment of a Competition during the period of such Competition and submit as many proposals on the method of solving the problem as specified by the Company to the Host by the end of the period of the said Competition.
4. Participants may submit Submissions in the form specified in the Competition and specify those Submissions as a Final Submission on the prescribed page in the Site by the end time specified by the said Competition.
5. Participants’ Final Submissions shall be evaluated in accordance with the evaluation method specified in the Competition and the final ranking shall be determined based on such evaluation.
6. Participants may, as a general rule, check their own evaluation results and the evaluation results of each of the other Participants for Submissions that may be evaluated quantitatively on the Site.
7. Participants shall be solely liable for their own Submissions, including the legality and non-infringement of the Submission.
8. Participants shall not submit any Submissions that have no direct relationship to each Competition.
9. Unless otherwise provided for, Participants may not directly communicate to, consult with, make a request to, solicit or take any other actions with the Host in respect of the matters related to a Competition during the period of the said Competition.
10. Participants shall direct any questions or concerns regarding any Competition to the Company or the third party designated by the Company in accordance with the procedures prescribed by the Company as posted on the Site.
11. Participants shall produce Submissions in compliance with the OSS License Terms related to the OSS when using or incorporating OSS in a Submission. However, Participants shall not use or incorporate OSS for which commercial use is prohibited in a Submission.
12. The Host shall not be obligated to pay any remuneration or other consideration for any act of the Participants in a Competition under any pretext. And the Company shall not be obligated to pay any remuneration or other consideration other than those prescribed in the following Article for any act of the Participants in a Competition.

Article 3 Reward and Vesting of Rights

1. Unless otherwise provided for, any Participant shall satisfy the requirements set forth in the following items in order to be entitled to receive a reward in any Competition that offers a reward:

(1) To be a winner;
(2) To agree to transfer to the Host and the relevant transferee of rights in such Competition all transferable rights, such as copyrights (including the rights as prescribed in Article 27 and Article 28 of the Copyright Act, and the same shall apply hereinafter), rights to obtain patents and know-how, etc. in and to all analysis and prediction results, prediction models, reports, etc., written explanations on algorithms, source code and reproduction method, etc. (although not limited to these), and the Submissions contained in the Final Submissions and Submissions for Final Judgment (hereinafter referred to as the “Rights”) along with a guarantee that the Participant has the authority to transfer such Rights;
(3) To guarantee that any relevant transferee of rights may use the Rights contained in the Final Submissions and Submissions for Final Judgment for its own business and other purpose without any restriction and to agree to their exclusive use of such Rights;
(4) To agree not to exercise moral rights to the Rights against the relevant transferee of rights;
(5) To enter into an agreement for the transfer of the Rights with the relevant eligible transferee of rights, including the guarantee of and agreement to the matters in the preceding three (3) items and other reasonable provisions;
(6) To have the personal identity of such Participant verified by the Company; and
(7) Not to breach any provision of these Terms, etc.

2. Any Winner Candidate shall, after having received a notice from the Company that he/she is nominated as a winner candidate, submit the Submissions for Final Judgment on or before the designated date and communicate the matters requiring confirmation or response in relation to the Final Submissions and the Submissions for Final Judgment to the Company on or before the designated date, in accordance with the instructions of the Company. The Company shall carry out the final judgment based on such matters requiring confirmation or response. If the Company receives no confirmation or response satisfactory to the Company on or before the designated date, the Company may exclude such Winner Candidate from the subject of the final judgment and the Winner Candidate shall not raise any objection thereto.
3. If the Company considers that the Final Submissions or Submissions for Final Judgment need to be amended or modified, or there occur any additional matters requiring confirmation, in the course of the final judgment, any Winner Candidate shall take action or make response in relation to the matters that require amendment or modification, or the matters requiring confirmation, on or before the designated date in accordance with the instructions of the Company. If the Company receives no action or response satisfactory to the Company on or before the designated date, the Company may exclude such Winner Candidate from the final judgment and the Winner Candidate shall not raise any objection thereto.
4. The Company shall determine the Winner through the final judgment and inform the Winner to that effect.

Article 4 Confidentiality

1. Any Participant shall treat any information and data that they receive from the Company in relation to Competitions as well as knowledge and products, etc. obtained using such information and data (including Participant Submissions; hereinafter referred to as the “Company-Provided Information”) as confidential information and shall not disclose the same to any third party and use the same for any purpose other than for such Competition and purpose specified by the Company separately; provided, however, that the confidential information shall not include any information that falls under any of the following items:

(1) Information that is known to the public at the time it was received;
(2) Information that is already possessed by the Participant at the time it was received (only in the case where such Participant may demonstrate such fact by reasonable means);
(3) Information that becomes known to the public without the fault of the Participant after it was received;
(4) Information that is independently developed by the Participant without reference to any information received; or
(5) Information that is rightfully received from any third party having a right to disclose such information without the obligations of confidentiality (only in the case where such Participant may demonstrate such fact by reasonable means).

2. Any Winner shall handle his/her Final Submissions and Submissions for Final Judgment in the same manner as Company-Provided Information after receiving notification that they are a winner. And Participant Submissions other than the Winner’s Final Submissions and Submissions for Final Judgment shall not be included as Company-Provided Information after the Company has determined the Winner notwithstanding the provisions of the preceding paragraph.
3. Any Participant may publish any algorithms that they have developed as well as any other materials they have created in connection with their participation in a Competition (including Final Submissions and Submissions for Final Judgment) after that Competition in accordance with the Competition Information Disclosure Policy (hereinafter, "Information Disclosure Policy") posted on the Site. However, Participants shall observe the following matters when publishing information and may not publish any materials prohibited by the Information Disclosure Policy:

(1) Clarify that the materials were created in connection with participation in the Competition;
(2) Give credit in accordance with the notation method prescribed in the Information Disclosure Policy when the materials to be published contain part of a dataset; and
(3) Clarify the location accessible to all Participants (including but not limited to the Competition forum and other locations designated by the Company) where the materials are published (including links, etc.) if publishing materials outside the Competition forum.

4. Any Participant shall delete or return to the Company the Company-Provided Information (excluding the information prescribed in paragraph 3) immediately after the completion of a Competition.
5. If there is any separate arrangement in relation to the confidential information in a Competition, the provisions of such arrangement shall prevail over the provisions of these Terms.
6. If any dispute occurs between a third party and the Host or the Company due to the breach by any Participant of the provisions of this Article and such other party makes any claim against the Company or the Host, such Participant shall compensate for any damage, loss, expenses (including, but not limited to, attorneys’ fees), lost profits and lost revenues, etc. incurred by the Company and the Host.
7. The provisions of this Article shall survive the termination of the relevant Competition or the Participant’s completion of the procedures for withdrawal from all services provided by the Company, with respect to the Company-Provided Information and the Winner’s Final Submissions and Submissions for Final Judgment for a period of five (5) years thereafter.

Article 5 Prohibited Acts of Participants

1. The Company shall prohibit Participants from engaging in any of the following acts in any Competition:

(1) An act of cracking, cheating, spoofing and other misconduct;
(2) An act of redistributing data files included in the dataset;
(3) An act of directly communicating to, consulting with, making a request to, soliciting or responding to solicitation or other activities to other Participants or the Host (other than the Company) without the involvement of the Company for the purpose of furthering the Participant’s own interests;
(4) Any profitmaking activities using the Competition (including but not limited to solicitation or scouting activities, and use for a third party in educational business, etc.) without the prior approval of the Company in writing or any other manner specified by the Company;
(5) An Act of transferring, offering as collateral or otherwise disposing of the Participants’ standing, or the rights or obligations, as a Participant in any Competition (except with the prior written consent of the Company);
(6) Acts that infringe upon the intellectual property rights, trade secrets or any other rights of third parties; and
(7) Any other act in breach of these Terms, etc.

2. If the Company deems that a Participant has engaged in, or may engage in, any of the prohibited acts as prescribed in the preceding paragraph, the Company may, without prior notice to the Participant, disqualify the Participant from the Competition in which the Participant participates, temporarily suspend the Participant from using some or all of the services provided by the Company, withdraw the Participant’s membership, claim damages from the Participant or take any other measures deemed necessary by the Company.

Article 6 Modification of Terms

1. The Company may modify, add or delete any provisions of these Terms from time to time without the approval of Participants.

September 5, 2024