目的
エンターテイメント分野、教育、介護などでのクイズ活用を目指し、「文法等が正しく、嘘がなく、テーマに沿ったおもしろいクイズ」を自動生成する「早押しクイズ自動作問AI」の開発を競う。
＊クイズ事業応用の可能性は、以下で紹介されております。
- 「『文法等が正しく、嘘がなく、テーマに沿ったおもしろいクイズ』の生成、評価」のコンペ通して、自然言語処理や生成系AIの各種課題（生成系AIが間違った出力を行ういわゆる「Hallucination」など）の解決策を議論する。
- コンペティションを通じ、「クイズの面白さ」を評価するデータセットを構築していく。
※ 生成系AIを評価するコンペティションは他に例が少なく、また日本語データセットも揃っていない状況です。今回は「お試しの開催」という形でご理解いただきたいと思います。
コンペ方式
大会は、予選と本戦に分かれます。
【予選】 〜2023年11月30日
こちら（json形式）で公開したインプットデータ（20個のテーマ）に対し、20問の「クイズ」と「その解答」を、目安30分以内に自動出力するAIモデルを作成していただき、フォーマット（json及びcsv）で結果を11月30日までにご提出いただきます。また提出時に、著作権違反等がないか確認するため、簡単にアプローチの紹介（どのような外部データ・外部ツール・文章を、どのように用いたかなど）をご報告いただきます。提出方法はデータタブを参照ください。
- 予選においては、外部LLM（ChatGPT、BARD等）を使い利用料がかかった場合も、各種予算は自己負担となります。
- 予選においては、無料GUI版ChatGPT等を用い要素技術をご検討いただく形だけでも構いません。その場合、フォーマットに従わなくともChatGPTなどに入力するプロンプト全体をお送りいただく形も可能とします（予算や技術の関係で外部LLMを使えない方向けの措置）。本戦では、直接インプットを読めるようにスクリプト化していただきたいと考えていますが、その方法等は要相談とします（スプリプト化する部分を実行委員会有志で協力するなど）。
提出いただいた問題は、提出者の名前/団体名を伏せた上で、実行委員会の徳久倫康が700点満点で評価します。得点上位10位程度まで（確保できた予算や協力企業との交渉で決定）を本戦進出とする予定です。また、審査結果は各問題への点数を含め公表予定です。プロンプト自体をお送りいただいた場合、実行委員で「内容を踏まえ伸びしろが大きいか否か」「プロンプトで独自の工夫がみられるか」などの点で審査を行い、本選進出とする場合があります。
【本戦】2024年1月17日（水）（最終報告会の約10日前）
予選通過者にある時間にZOOMでお集まりいただき、インプットデータを送付します。参加者はZOOMで1時間以内に計算を実施し、アウトプットを返信してください。（インプットデータ公開後，規定時間（1時間以内を予定）以内に解答が投稿されなければ時間切れと判定します．）
- 予選と同じ評価手法で、700点満点で得点をつけ、合計得点の上位３人が最終報告会における決勝戦に進出します。
- 本戦及びその準備においては、外部商用LLMの利用券や利用料の提供を行うことを検討しています。ただし、予算充当のために何らかの研究報告が必要になる可能性があるため、利用券や利用料の供与を受けた取り組みは、入力に用いたプロンプトやアルゴリズムを公開Web等でご報告いただくことを義務とする場合があります。詳細は後日お知らせします。
本戦上位3人が前週に生成したクイズを、招待したゲスト審査委員（クイズプレイヤー・クイズ作家さんたち）に、早押しクイズ形式で解いていただきます。クイズプレイヤーたちにはその問題が「イベントが盛り上がる問題だったか」について審査をしていただきます。本戦との合計点で、最終的な優勝者を決定します。
- 本戦上位3人は、クイズの発表順を上位から決めることができます。
- 本戦において生成した20問のクイズから、徳久による手動審査の結果評価の高かった上位10問を抽出し、審査委員に出題します。（同点評価の場合、徳久による比較で評価が高い問題を抽出します）
- ゲスト審査委員には、提示する基準のもと、３つのうちどの問題が「最もイベントが盛り上がる問題だったか」を選んでいただきます。一人が選ぶごとに、本戦の点数に30点を加算します。（最大90点加算）
- 最終報告会において、上位3位に入った方は、アプローチ等の説明時間を設けます。発表に協力いただけるとありがたいです。また、4位以下でも、ご協力いただける方には発表をお願いしたいと考えております。
問題評価/審査担当
予選・本戦評価担当
徳久 倫康 氏
（株式会社baton）
（株式会社baton）
早稲田大学文化構想学部卒業。QuizKnockを運営する株式会社batonに在籍。2023年にはクイズのオープン大会で通算100勝を達成している。著書に『クイズ用語辞典』（共著）。写真は「JQSグランプリシリーズ・グランプリファイナル」のもの。
最終報告会ゲスト審査委員
鶴崎 修功 氏
（QuizKnock）
（QuizKnock）
東京大学大学院数理科学研究科博士課程修了。QuizKnockには2016年の創設当初から在籍し、現在はYouTube動画に出演するほか、ゲームアプリの開発にも携わっている。競技プログラミングのコンテストでは、上位3%レベルのスコアを獲得したことがある。
仲野 隆也 氏
（株式会社キュービック）
（株式会社キュービック）
1966年、三重県津市出身。名古屋大学経済学部卒。クイズ研究会に所属し、第2代会長を務める。ジャパンFMネットワーク勤務を経て、2000年にクイズ作家として独立。クイズ制作会社・有限会社セブンワンダーズおよびクイズの総合商社・株式会社キュービック代表取締役。手がけたコンテンツに、TV『東大王』『Qさま‼』『タイムショック』、書籍『経済脳Qテスト』、マンガ『ナナマルサンバツ』、アプリ『黒猫のウィズ』などがある。
矢野 了平 氏
構成作家・クイズ作家。1977年埼玉県生まれ。高校・大学時代は『第4回高校生オープン』『パネルクイズアタック25』で優勝するなどクイズプレイヤーとしても活躍。その後構成作家となり、『水曜日のダウンタウン』『マツコ＆有吉 かりそめ天国』『パンサー向井の#ふらっと』などのバラエティ番組を手掛ける一方、『くりぃむクイズミラクル9』『高校生クイズ』など多くのクイズ番組を手掛けた。『佐藤健＆千鳥ノブよ！この謎を解いてみろ！』『今夜はナゾトレ』など謎解きブームの影の立役者でもある。
※評価担当や審査委員の方に生成された問題群を提示する際、「どの開発者が開発したAIの出力かわからない（匿名）」の状況で評価・審査を行っていただきます。