JSAI Cup 2018 人工知能学会データ解析コンペティション
クックパッド株式会社
  • 締切: 2018年03月29日
  • 応募:1485件 / 121人
  • 1位¥500,000、2位¥300,000、3位¥100,000、4位¥50,000、5位¥50,000

2018年度人工知能学会全国大会(第32回)(以下JSAI2018)が2018年6月5日(火)~8日(金)に、鹿児島県鹿児島市(城山観光ホテル)にて開催されます。
大会に先立ち、参加者が同じデータを用いて解析に取り組み予測モデルの精度を競い合う、データ解析コンペティション(以下コンペ)を実施します。

今回のテーマは「画像認識」。

精度上位の方にはJSAI2018内の本コンペのセッション「JSAI Cup」に出席いただき、分析手法や分析結果について発表していただきます。 


課題
クックパッド株式会社の提供する画像データを使用し、各画像に対して55種類の材料カテゴリ(玉ねぎ、きゅうり等)の1つを付与する、材料の分類の画像認識アルゴリズムの作成に挑戦していただきます。

画像データは、1カテゴリ約290枚×55カテゴリの計15,932枚。
内、11,995枚を学習用、3,937枚を評価用に使用します。

評価関数
・精度評価は、評価関数「Accuracy」を使用します。
・評価値は0~1の値をとり、精度が高いほど大きな値となります。 



最終順位の決定
1.コンペ最終日までの評価(暫定評価)は評価用データセットの一部で評価し、コンペ終了後の評価(最終評価)は評価用データセットの残りの部分で評価します。
 スコアボードはコンペ終了時に自動的に最終評価に切り替わり、それを元に最終順位を決定します。このため、開催中と終了後では順位が大きく変動する場合もあります。

2.スコアが同値の場合は、早い日時でご応募いただいた参加者を上位とします。

3.コンペ終了後、入賞候補者には以下を提出していただきます。
 - 予測モデルのソースコード
 - 学習済モデル
 - 解説書(実行環境、実行時間*1、予測結果の再現手順*1、乱数シード*2、特徴量の説明や寄与度*3、モデリング手法、工夫点、得られた示唆等)
   *1 : 前処理部分、学習部分、予測部分それぞれに対して明記
   *2 : Random Forest等の乱数を利用した手法を用いた場合
   *3 : 算出が可能な手法を用いた場合
 - アンケート(参加の動機、費やした時間、ご意見・感想等)

4.再現性検証期間中、以下いずれかに該当する場合は入賞資格を失います。このため、提出前に必ず問題がないことを確認してください。
 - 事務局からの手続き上の連絡・要求に対して指定された期限内に対応しない
 - 参加条件やルールを満たしていない
 - プログラムが動作しない
 - 最終提出した予測値と学習済モデルから出力される予測値が一致しない
 - 新しい画像に対して予測できない

5.入賞候補者が入賞資格を失った場合は、スコアが次点の方が繰り上がり、新たな入賞候補となります。全入賞者の確定をもって、それを最終順位とします。

参加条件
・JSAI2018に参加予定であり、セッション「JSAI Cup」での発表が可能な方。(詳細は、スケジュール参照)
 ※ 発表対象者はコンペ上位の方より選出します
・本コンテストで提供されるデータについて、本コンテストのモデル作成以外の目的で使用又は複製しないこと、第三者に対して開示しないことに同意すること
・本コンテストにおける分析結果及び本コンテストを通じて得られたプログラムに係る全ての権利について、営利目的の利用をしないこと、第三者に対して譲渡又は許諾しないことに同意すること
・コンテストの応募終了後、利用者は直ちにデータを消去すること
・サイト利用規約の全ての条項に同意すること
 ※ただし、サイト利用規約よりも上記条件が優先されます

システムの利用
・利用アカウントは1人につき1つまで。ただし、アカウントが1つであればチームでの参加も可能。

情報の取り扱い
・同じチーム以外の参加者と本コンペの予測に関連するデータ・ソースコードを共有する行為は禁止。

データの利用
・提供するデータ以外のデータを用いてモデルを学習することは禁止。
・学習データのラベルを書き換えて(玉ねぎを栗に書き換える等)モデルを学習することは禁止。
 ただし、画像処理手法により自動で水増ししての利用は可能。
・手動でラベル付けした結果を提出することは禁止。

実装方法
・API(Google Cloud Vision 等)の利用は禁止。
・ImageNetなどによる学習済モデルの利用は禁止。
・2つ以上の異なるモデルを用いてアンサンブル学習(スタッキング、バギング、ブースティング等)させるのは禁止とします。ただし、xgboostやrandom forest、TTA(test time augmentation)等のようにある一つの同一モデル※に対するアンサンブルを含むような手法に関しては利用可とします。

※モデル構造とハイパーパラメータが同じであれば同一とみなす

・ソースコードは、以下のように、前処理、学習、予測、の3つに分け、それぞれを実行すれば処理が進むように実装すること。
 ①Preprocessing
  提供データを読み込み、データに前処理を施し、モデルに入力が可能な状態でファイル出力するモジュール。get_train_dataやget_test_dataのように、学習用と評価用を分けて、前処理を行う関数を定義してください。
 ②Learning
  ①で作成したファイルを読み込み、モデルを学習するモジュール。学習済みモデルや特徴量、クロスバリデーションの評価結果を出力する関数も定義してください。
 ③Predicting
  ①で作成したテストデータ及び②で作成したモデルを読み込み、予測結果をファイルとして出力するモジュール。

2018年1月15日(月) コンペ開始
2018年3月29日(木) コンペ終了
2018年4月2日(月)  予測モデルソースコードの提出締切 (※入賞候補連絡を受け取った方)
2018年5月8日以降  検収・審査にて入賞者を決定
2018年6月5日(火)  JSAI2018内の本コンペのセッション「JSAI Cup」(15:20〜17:00)で発表

2018年度人工知能学会全国大会(第32回)会場

日時:2018年6月5日(火)15:20〜17:00
会場:城山観光ホテル( 鹿児島県鹿児島市新照院町41−1)A会場(4F エメラルドホール)

プログラム:
15:20〜15:30 開催概要紹介 鹿島久嗣氏(京都大学)
15:30〜16:35 講演     入賞者5名
16:35〜17:00 表彰式・講評 菊田遥平氏(クックパッド株式会社)、齊藤秀氏(株式会社SIGNATE)


Q1. 交差検証は使用してよいですか?
A.1 ある一つの同一モデルに対する交差検証ならば用いても問題ございません。例えばハイパーパラメータ探索やk-foldによるk個の同一モデルアンサンブルも使用可とします。

Q2.TTA(test time augmentation)は使用してもよいですか?
A2. 使用しても問題ございません。

Q3. psuedo labelingは使用してもよいですか?
A3. 提供データ以外のデータの使用をしない限りは使用しても問題ございません。

Q4. AlexnetやResnetなどの既存のネットワーク構造を持つモデルは使用してもよいですか?
A4. ImageNetなどの提供データ以外のデータによって学習した学習済みモデルの使用は禁止ですが、適当な乱数を初期パラメータとしてスクラッチから学習させる限りは使用しても問題ございません。

Q5. 分析した内容を論文に利用してもよいですか?
A5. 本コンペを通じて得たノウハウやテクニックに関しては共有可能であり、論文等を執筆・投稿することが可能です。
なお、本コンペで提供された画像データ等についてはコンペ終了後削除していただく必要がありますが、コンペ参加者に限り、別途クックパッド社様に利用許可を申請していただければ、論文等にご使用いただくことも原則として可能です。
申請方法についてはコンテスト終了後、 recipe-corpus@cookpad.com までお問い合わせください。

主催:人工知能学会
協賛:クックパッド株式会社、株式会社オプトホールディング
後援:電子情報通信学会 食メディア特別研究専門委員会