人工知能技術戦略会議等主催 第1回AIチャレンジコンテスト
人工知能技術戦略会議、内閣府、文部科学省
  • 締切: 2017年03月31日
  • 応募:2622件 / 173人
  • 総額¥1,000,000相当の賞金・副賞

【(1)料理領域検出部門】スコアボード


【(2)料理分類部門】スコアボード



コンテスト趣意
情報科学が世界的に発展し、人工知能技術やビッグデータの活用が様々な分野の科学や産業等において大きなインパクトを与えています。人工知能の研究開発目標と産業化のロードマップ策定のため、産学官の叡智を集め、縦割りを排した「人工知能技術戦略会議」が創設されました。

この取組のさらなる加速化に向けて、国内の学生・社会人を幅広く対象として先端的な人工知能技術の開発とビッグデータ活用の能力を競う場として「AIチャレンジコンテスト」を開催します。人工知能技術を開発し活用できる人材の発掘や、実際的な課題・データを対象とした研究開発や優れた参加者の技術・アイデア等から波及する人材育成効果を期待します。

画像認識アルゴリズムの作成にチャレンジ
さて、第1回AIチャレンジコンテストのテーマは「画像認識」

今回は、クックパッドの提供する画像データを使用して、料理の領域検出・料理の分類の画像認識アルゴリズムの作成に挑戦していただきます。

クックパッドは、「毎日の料理を楽しみにする」という理念のもと、料理レシピの投稿・検索サイトとしてサービスを開始し、現在投稿レシピ数は250万品を超え、国内で月間6,000万人以上が利用している日本最大のレシピサービスです。

一方、昨今注目を浴びるAIの世界では、ディープラーニング技術の台頭によって、画像認識の精度が急速に上昇してきました。
「料理の画像認識」は、同じ料理でも形状や使われている素材にばらつきが多く、比較的難しい領域と言われています。クックパッドは、本コンテストへの協力を通じて画像認識技術が向上し、日々のレシピ選びに今までにない新しい体験を生み出してくれることを期待しています。

データサイエンティストが画像という素材をどう料理するのか、みなさまの作るレシピに注目したいと思います。 


開催部門
「(1)料理領域検出部門」と「(2)料理分類部門」の2部門を開催します。どちらか1部門のみでの参加も可能です。

部門(1)料理領域検出部門(2)料理分類部門
課題各画像における料理領域の特定各画像の料理の分類
データ3万枚の料理画像と料理領域の情報7万枚の料理画像と25種の料理カテゴリの情報
懸賞/賞金人工知能技術戦略会議 議長賞(入賞者の中で特に優れた人1名)
最高精度賞
1位:賞金20万円*1
2,3位:nintendo New3DS-LL*1
4,5位:nintendo 2DS*1
6-10位:ノベルティ詰合せ*2,3
アイデア賞
1位:賞金10万円+ノベルティ*3
2,3位:GeForce GTX 1060 6GB*2
4,5位:GeForce GTX 1060 3GB*2

最高精度賞
1位:NVIDIA TITAN X *2
2,3位:nintendo New3DS-LL*1
4,5位:nintendo 2DS*1
6-10位:ノベルティ詰合せ*2,3
アイデア賞
1位:賞金10万円+ノベルティ*3
2,3位:GeForce GTX 1060 6GB*2
4,5位:GeForce GTX 1060 3GB*2

提出物予測結果予測結果 + レポート予測結果予測結果 + レポート
評価精度上位精度上位 + レポート審査精度上位精度上位 + レポート審査


*1:株式会社ディジタルメディアプロフェッショナル提供
*2:エヌビディア合同会社提供
*3:クックパッド株式会社提供 

 
(1)料理領域検出部門
料理画像に対して、料理が写っている領域を、bounding box = (x, y, width, height) として割り当てていただきます。各画像には、1つ以上の bounding boxが割り当てられます。画像の左上を原点(0,0)とし、料理領域の左上の座標(x, y)、幅(width)、高さ(height)の4つを指定することで、bounding box は表現されます。 


(2)料理分類部門
料理画像に対して、25種類の料理カテゴリの1つを付与していただきます。

特記事項
コンテスト期間中に無料で利用できるGPU環境のクラウドサービス「IDCFクラウド」(提供:株式会社IDCフロンティア)を、ご用意しています。



本コンペティションに参加するためには、SIGNATE.JPサイト利用規約(以下「利用規約」といいます。)に加え、本規約にもご同意いただく必要があります。本規約を熟読し、ご同意のうえ、本コンペティションにご参加ください。ご同意いただいた場合、本規約、「追加事項」として本規約に追加された事項、利用規約及びその他のご同意いただいた規約は、すべて一体の文書として当事者を拘束するものとします。


第1条(定義)

1.本規約において次の各用語の定義は、それぞれ次に定めるとおりとします。

(1)「本サイト」とは、コンペティションを掲載するウェブサイト「SIGNATE(https://signate.jp)」をいいます。
(2)「コンペティション」とは、ホストが開催する本サイト上でのAI開発又はデータ分析の競技会をいいます。
(3)「ホスト」とは、コンペティションの主催者をいいます。ホストは、株式会社SIGNATE(以下、「当社」といいます。)又は当社の顧客企業・提携企業・学校・団体等(以下、「顧客企業等」といいます。)です。
(4)「参加者」とは、会員のうち、コンペティションに参加する方をいいます。
(5)「提出物」とは、コンペティションにおいて提出される分析・予測結果及びレポート等の総称をいいます。
(6)「最終提出物」とは、コンペティション終了時点までに参加者が本サイトの所定のページで指定した提出物をいいます。
(7)「入賞候補者」とは、当社より入賞候補の通知を受けた参加者をいいます。
(8)「最終審査用提出物」とは、当社の指示に従い、入賞候補者が提出する分析・予測モデル、学習データ等をいいます。
(9)「最終審査」とは、入賞候補者の最終提出物及び最終審査用提出物に対して当社が行う、再現性検証を含む検収及び審査をいいます。
(10)「入賞者」とは、当社より入賞の通知を受けた入賞候補者をいいます。
2.本規約において使用される利用規約で定義された用語は、本規約で特に定義されていない限り、利用規約で定義された意味を有するものとします。

第2条(コンペティション)

1.コンペティションに参加することを希望する会員は、本規約に同意の上、各コンペティションにおいて定められている参加条件を満たしている必要があります。会員でない方は、コンペティションに参加することはできません。
2.参加者は、当社がご案内する方法に従い、各コンペティションに参加するものとし、各コンペティションにおいて定められたルールを順守する義務があります。
3.参加者は、各コンペティション期間中に各コンペティションの問題に対する提出物を提出することができ、ホストに対して問題解決方法の提案を各コンペティションの終了期限まで行うことができます。
4.参加者は、各コンペティションで指定される形式に従い、各コンペティションで指定される時点までに最終提出物を提出できるものとします。
5.提出された最終提出物は、各コンペティションで定められた評価方法で評価され、その評価をもって最終順位が決定されるものとします。
6.参加者は、提出物が数量的に評価できるものについては、原則、本サイト上で自己及び他の各参加者の評価結果を確認できるものとします。
7.参加者は、自身の提出物について、その適法性を含め、一切の責任を負うものとします。
8.参加者は、各コンペティションに直接関係のない提出物を提出しないものとします。
9.参加者は、特段の定めがない限り、コンペティションに関わる内容について、コンペティション期間中にホストに対して直接連絡、相談、依頼、勧誘等の活動はできないものとします。
10.参加者は、コンペティションに関して不明点や疑問点がある場合、必ず本サイト上に掲載する当社所定の手続きを通し、当社又は当社が指定する者まで連絡をすることとします。
11.当社は、本条各項で定める参加者の行為に対して、次条に定めるものを除き、一切の報酬その他の対価を支払う義務を有しないものとします。

第3条(懸賞及び権利の帰属)

1.参加者は、懸賞が付与されているコンペティションにおいて懸賞獲得の権利を得るためには、特段の定めがない限り、下記条件を満たす必要があります。

(1)入賞者となること
(2)最終提出物及び最終審査用提出物に含まれるすべての分析・予測結果及びレポート、分析・予測モデル・アルゴリズム・ソースコード・再現法等の説明書等、及び提出物に関する著作権、特許を受ける権利、ノウハウ等すべての譲渡可能な権利(著作権法第27条及び第28条に定める権利及び特許を受ける権利を含み、以下、「本件権利」といいます。)のホストその他の当該コンペティションにおける権利譲渡対象者への譲渡に同意すること
(3)最終提出物及び最終審査用提出物に含まれるノウハウを権利譲渡対象者が何ら制限なく自らの事業及びその他目的に利用できる権利を専有することに合意すること
(4)権利譲渡対象者に対し、本件権利の著作者人格権を行使しないことに同意すること
(5)前3号への同意その他の合理的な条項を含む、本件権利の譲渡のための契約を権利譲渡対象者と締結すること
(6)当社による当該参加者の本人確認が完了すること
(7)本規約及び利用規約の規定に違反していないこと

2.入賞候補者は、当社より入賞候補の通知を受け取った後、当社の指示に従い、最終審査用提出物を指定期日までに当社に提出し、また、最終提出物及び最終審査用提出物に関する確認・回答事項を指定期日までに当社まで連絡するものとします。当社は、かかる確認・回答事項を前提に、最終審査を行います。指定期日までに当社が満足する確認・回答事項が得られない場合、当社は、当該入賞候補者を最終審査の対象外とすることがあります。
3.入賞候補者は、最終審査の過程で、最終提出物又は最終審査用提出物に修正又は変更の必要があると当社が判断、もしくは追加で確認事項が発生した場合、当社の指示に従い、修正等の必要な項目や確認事項の詳細情報について、指定期日までに対処し又は回答するものとします。指定期日までに当社が満足する対処・回答が得られない場合、当社は、当該入賞候補者を最終審査の対象外とすることがあります。
4.当社は、最終審査を経て入賞者を決定し、その旨の通知をするものとします。

第4条(秘密保持)

1.参加者は、各コンペティションに関して当社から受領する情報やデータ(以下「当社提供情報」といいます。)を秘密情報として取り扱い、第三者には開示しないものとし、かつ、当該コンペティション及び別途当社が指定した目的以外に使用することができないものとします。但し、以下の各号に定める情報は、秘密情報には含まれないものとします。

(1)開示の時点において公知となっていた情報
(2)開示の時点において、既に参加者が所有していた情報(当該参加者が合理的な手段で証明することができる場合に限ります。)
(3)開示の後に、参加者の責めによらず公知となった情報
(4)開示されたいかなる情報にもよらずに独自に開発した情報(入賞対象者の評価対象提出物を除く)
(5)何ら秘密保持義務を負担することなく開示権限ある第三者から合法的に開示された情報(当該参加者が合理的な手段で証明することができる場合に限ります。)

2.参加者は、各コンペティションの終了後、直ちに当社提供情報を消去又は当社に返還するものとします。
3.入賞者は、自己の最終提出物及び最終審査用提出物についても、第1項に定める取扱いと同様の取扱いをするものとします。
4.各コンペティションにおいて、別途秘密情報に関する取り決めがなされる場合は、当該取り決めの規定が本規約の規定に優先するものとします。
5.参加者が本条の規定に違反したことによりホストその他の第三者と当社の間で紛争が生じ、その他当該第三者が当社に対して請求を行った場合、当該参加者は当社が被る一切の損害、損失、費用(弁護士費用を含むがこれに限定されない。)、逸失利益、逸失収入などを補償するものとします。
6.本条規定は、当社提供情報並びに入賞者の最終提出物及び最終審査用提出物に関し、当該コンペティション終了後及び参加者が当社サービスの退会手続きを完了した後5年間は有効に存続します。

第5条(参加者の禁止行為)

1.当社は、コンペティションにおいて、参加者に対し、次に掲げる行為を禁止します。

(1)クラッキングやチート行為、なりすまし等の不正行為
(2)当社が関与しない形で行う、他の参加者又はホスト(当社以外の者に限る。)に対する直接連絡、相談、依頼、勧誘、勧誘対応等の活動
(3)書面その他当社が指定する方法による事前の承諾を得ることなく行う、コンペティションを利用した一切の営利活動(勧誘・スカウト行為、教育事業における第三者への利用等を含む)
(4)参加者としての地位又は参加者としての権利義務の移転、担保設定その他の処分(当社の書面による同意がある場合を除く。)
(5)その他、利用規約に違反する行為

2.参加者が前項に規定する禁止行為を行ったと当社が認める場合、当社は、当該参加者に事前に通知することなく、当該参加者のコンペティションにおける失格処分、当社サービスの一時利用停止、退会処分、損害賠償請求その他当社が必要と判断した措置をとることがあります。

第6条(本規約に基づくサービス提供の変更・中断・終了)

1.当社は、会員に事前の通知をすることなく本規約に基づき提供するサービスの変更又は一時的な中断を行うことができます。
2.当社は、1ヵ月の予告期間をもって会員に通知の上、本規約に基づき提供するサービスの長期的な中断もしくは終了を行うことができます。
3.当社は、本条に基づき当社が行った措置により生じた結果及び損害について、一切の責任を負わないものとします。

第7条(本規約の変更)

1.当社は、会員の了承を得ることなく、本規約を随時変更、追加、削除することができます。

2018年4月1日 制定

評価関数(1)料理領域検出部門
・精度評価は、評価関数「mean average precision(MAP)」を使用します。
・この関数は評価対象の全ての画像に関する「average presicion(AP)」の平均値です。
・評価値は0~1の値をとり、精度が高いほど大きな値となります。
・領域が検出できたかどうかは予測と正解の重なり具合から判断します。
・本コンテストでは、1画像あたりの予測数Kは1以上15以下とします(予測なし、16以上予測することは禁止)。
・アイデア賞は、レポート未提出の方は対象にはなりません。




(2)料理分類部門
・精度評価は、評価関数「Accuracy」を使用します。
・Accuracy は、予測ラベルと正解ラベルが一致した画像の数の、全サンプル数に対する比率です。
・評価値は0~1の値をとり、精度が高いほど大きな値となります。
・アイデア賞は、レポート未提出の方は対象にはなりません。




審査員の紹介(敬称略、五十音順)
井崎武士 氏(エヌビディア合同会社 ディープラーニング部 部長)
大渕栄作 氏(株式会社ディジタルメディアプロフェッショナル 常務取締役開発統括部長)
齊藤秀  氏(株式会社オプト 最高解析責任者CAO データサイエンスラボ代表 国立研究開発法人 国立がんセンター研究所 客員研究員)
成田一生 氏(クックパッド株式会社 最高技術責任者)
大和喜一 氏(株式会社IDCフロンティア 技術開発本部 R&D室 主任研究員)

最終順位の決定
1.コンテスト最終日までの評価(暫定評価)は評価用データセットの一部で評価し、コンテスト終了後の評価(最終評価)は評価用データセットの残りの部分で評価します。
 スコアボードはコンテスト終了時に自動的に最終評価に切り替わり、それを元に最終順位を決定します。このため、開催中と終了後では順位が大きく変動する場合もあります。

2.スコアが同値の場合は、早い日時でご応募いただいた参加者を上位とします。

3.入賞資格を得るには、ベンチマーク(コンテスト終了後に表示されるRankingのスコアボードにおけるユーザー名"benchmark"のスコア)を超えている必要があります。

4.コンテスト終了後、入賞候補者には以下を提出していただきます。
 - 予測モデルのソースコード
 - 学習済モデル
 - 解説書(実行環境、実行時間*1、予測結果の再現手順*1、乱数シード*2、特徴量の説明や寄与度*3、モデリング手法、工夫点、得られた示唆等)
   *1 : 前処理部分、学習部分、予測部分それぞれに対して明記
   *2 : Random Forest等の乱数を利用した手法を用いた場合
   *3 : 算出が可能な手法を用いた場合
 - アンケート(参加の動機、費やした時間、ご意見・感想等)

5.再現性検証期間中、以下いずれかに該当する場合は入賞資格を失います。このため、提出前に必ず問題がないことを確認してください。
 - 事務局からの手続き上の連絡・要求に対して指定された期限内に対応しない
 - 参加条件やルールを満たしていない
 - プログラムが動作しない
 - 最終提出した予測値と学習済モデルから出力される予測値が一致しない
 - 新しい画像に対して予測できない

6.入賞候補者が入賞資格を失った場合は、スコアが次点の方が繰り上がり、新たな入賞候補となります。全入賞者の確定をもって、それを最終順位とします。

心構え
・企業課題の達成、社会問題の解決、研究成果の共有等、大前提となる目的に合わせ、実用性を意識したアプローチで臨むこと。

システムの利用
・本コンテストで提供されるデータについて、本コンテストのモデル作成以外の目的で使用又は複製しないこと、第三者に対して開示しないことに同意すること
・本コンテストにおける分析結果及び本コンテストを通じて得られたプログラムに係る全ての権利について、営利目的の利用をしないこと、第三者に対して譲渡又は許諾しないことに同意すること
・コンテストの応募終了後、利用者は直ちにデータを消去すること
サイト利用規約の全ての条項に同意すること
 ※ただし、サイト利用規約よりも上記条件が優先されます
・利用アカウントは1人につき1つまで。ただし、アカウントが1つであればチームでの参加も可能。

情報の取り扱い
・同じチーム以外の参加者と本コンテストの予測に関連するデータ・ソースコードを共有する行為は禁止。

データの利用
・提供するデータ以外のデータを用いてモデルを学習することは禁止。
・(1)料理領域検出部門と(2)料理分類部門でデータを共有してモデルを学習することは禁止。
・上記ようなモデルの学習を含め、何らかの形で外部データから情報を抽出し、それをアルゴリズムの中で利用することは禁止。
・学習データのラベルや位置情報を手動で書き換えてモデルを学習することは禁止。

実装方法
・API(Google Cloud Vision 等)の利用は禁止。
・オープンソース(ソースが明確で誰でもアクセスでき且つ商用ではない) の学習済モデルを利用する場合は、論文のリンク等のソースを明記すること。
2017年1月10日(火) コンテスト開始
2017年3月31日(金) コンテスト終了
2017年4月10日(月) 予測モデル等の提出締切 (※入賞候補の連絡を受け取った方)
2017年5月上旬   検収・審査にて入賞者を決定
2017年5月22日(月) 表彰式

表彰式


 各部門入賞者の表彰式を以下のイベントにて執り行う予定です。

 ~第2回 次世代の人工知能技術に関する
合同シンポジウム~


  日時:2017年5月22日
  場所:大阪大学コンベンションセンター
    (大阪府吹田市山田丘1-1)
  主催:人工知能技術戦略会議、内閣府、文部科学省

主催
人工知能技術戦略会議、内閣府、文部科学省

後援
総務省、経済産業省、情報通信研究機構、理化学研究所、産業技術総合研究所、科学技術振興機構、新エネルギー・産業技術総合開発機構、情報処理学会、人工知能学会、電子情報通信学会(パターン認識・メディア理解研究会、食メディア研究会)