ステアラボ メテオサーチチャレンジ
ステアラボ
  • 締切: 2018年06月30日(残り65日)
  • 応募:47件 / 18人
  • 1位¥300,000、2位¥150,000、3位¥80,000

コンペ趣意 

国際宇宙ステーション(ISS)から超高感度CMOSカラ―ハイビジョンカメラにより流星の長期連続観測を行う「メテオプロジェクト」を千葉工業大学 惑星探査研究センター(PERC)が2012年から進めています。 流星はいつどこで発生するか予測できないため、これまでは撮影された動画から流星を見つけ出す作業を人手で行ってきました。しかし、流星が発光する時間は1秒にも満たないものが多く、全ての動画を人が見て流星発生を検出することは非常に大変です。したがって、動画中に現れる流星を自動的に検出するアルゴリズムの開発が急務となっています。 そこで、本コンペでは、動画中の流星を発見するアルゴリズムを開発していただき、その性能を競って頂きます。 本コンペでは、機械学習や動画・画像認識の研究を行っている千葉工業大学 人工知能・ソフトウェア技術研究センター(STAIR Lab)がコンペティションの企画・運営を行い、PERCがデータセットの提供を行います。


タスク説明 

3秒の動画を入力として、その動画中に流星が現れるかどうかの二値分類を行うアルゴリズムの作成に挑戦していただきます。 訓練データとして、流星が現れる3秒動画200本と流星が現れない3秒動画9800本の計10000本を提供します。 また、評価用データとして、流星が現れるかどうかのラベルが付いていない3秒動画1000本を提供します。 全ての動画は解像度が横320 x 縦180のmpg形式です。



本コンペへのお問い合わせ 

本コンペへの質問・お問い合わせは、人工知能・ソフトウェア技術研究センター(STAIR Lab)が対応致しますので、下記アドレスへお問い合わせ下さい。

千葉工業大学
人工知能・ソフトウェア技術研究センター(STAIR Lab)
問い合わせ窓口
challenge2018@stair.center

評価関数
・精度評価は、評価関数「AUC(Area Under the Curve)」を使用します。
・評価値は0~1までの値をとり、精度が高いほど大きな値となります。

最終順位の決定
1.コンペ最終日までの評価(暫定評価)は評価用データセットの一部で評価し、コンペ終了後の評価(最終評価)は評価用データセットの残りの部分で評価します。※スコアボードはコンペ終了時に自動的に最終評価に切り替わり、それを元に最終順位を決定します。このため、開催中と終了後では順位が大きく変動する場合もあります。

2.スコアが同値の場合は、早い日時でご応募いただいた参加者を上位とします。
・コンペ終了後、入賞候補者には以下を提出していただきます。
 - 予測モデルのソースコード
 - 学習済モデル
 - 解説書(実行環境、実行時間*1、予測結果の再現手順**1、乱数シード**2、特徴量の説明や寄与度*3、モデリング手法、工夫点、得られた示唆等)
   *1 : 前処理部分、学習部分、予測部分それぞれに対して明記
   *2 : Random Forest等の乱数を利用した手法を用いた場合
   *3 : 算出が可能な手法を用いた場合
 - アンケート(参加の動機、費やした時間、ご意見・感想等) 

3.再現性検証期間中、以下いずれかに該当する場合は入賞資格を失います。このため、提出前に必ず問題がないことを確認してください。
 - 事務局からの手続き上の連絡・要求に対して指定された期限内に対応しない
 - 参加条件やルールを満たしていない
 - プログラムが動作しない
 - 最終提出した予測値と学習済モデルから出力される予測値が一致しない

4.入賞候補者が入賞資格を失った場合は、スコアが次点の方が繰り上がり、新たな入賞候補となります。全入賞者の確定をもって、それを最終順位とします。

参加条件
1.サイト利用規約の全ての条項に同意すること。
2.本コンペで提供されるデータについて、本コンペのモデル作成以外の目的で使用又は複製しないこと、第三者に対して開示しないことに同意すること。
3.本コンペにおける分析結果及び本コンペを通じて得られたプログラムに係る全ての権利について、営利目的の利用をしないこと、第三者に対して譲渡又は許諾しないことに同意すること。
4.コンペの応募終了後、利用者は直ちにデータを消去すること。
5.入賞した場合、7月以降に行われる報告会・表彰式で発表できること。

<報告会・表彰式について>
・東京もしくは千葉で開催することを予定しております。
・開催日は入賞者のご都合を考慮致します。
・交通費は別途支給いたします (チームの場合は1名のみ)。
 ※但し、遠方にお住まいの場合は (例えば海外) skype などでのご発表をお願いする可能性がございます。

心構え
・企業課題の達成、社会問題の解決、研究成果の共有等、大前提となる目的に合わせ、実用性を意識したアプローチで臨むこと。

システムの利用
・利用アカウントは1人につき1つまで。ただし、アカウントが1つであればチームでの参加も可能。

情報の取り扱い
・同じチーム以外の参加者と本コンペの予測に関連するデータ・ソースコードを共有する行為は禁止。

データの利用
・第三者の権利を侵害しない、無償で誰でも手に入るオープンなデータに限り、利用可能。
・訓練データに対して新たにアノテーションを行うことには制限を設けません。
・評価データに対してアノテーションを人手で付けることは禁止とします。

実装方法
・モデルの学習に利用するツールは、オープン且つ無料なもの(python, R 等)に限定。
・ソースコードは、以下のように、前処理、学習、予測、の3つに分け、それぞれを実行すれば処理が進むように実装すること。
 ①Preprocessing
  提供データを読み込み、データに前処理を施し、モデルに入力が可能な状態でファイル出力するモジュール。get_train_dataやget_test_dataのように、学習用と評価用を分けて、前処理を行う関数を定義してください。
 ②Learning
  ①で作成したファイルを読み込み、モデルを学習するモジュール。学習済みモデルや特徴量、クロスバリデーションの評価結果を出力する関数も定義してください。
 ③Predicting
  ①で作成したテストデータ及び②で作成したモデルを読み込み、予測結果をファイルとして出力するモジュール。
2018年3月3日(土)コンペ開始
2018年6月30日(土)コンペ終了
2018年7月以降 検収後、入賞者を決定
2018年7月以降 報告会開催@千葉工業大学スカイツリータウンキャンパス(仮)