ステアラボ メテオサーチチャレンジ
ステアラボ
  • 締切: 2018年06月30日(残り5日)
  • 応募:554件 / 71人
  • 1位¥300,000、2位¥150,000、3位¥80,000

コンペ趣意 

国際宇宙ステーション(ISS)から超高感度CMOSカラ―ハイビジョンカメラにより流星の長期連続観測を行う「メテオプロジェクト」を千葉工業大学 惑星探査研究センター(PERC)が2012年から進めています。 流星はいつどこで発生するか予測できないため、これまでは撮影された動画から流星を見つけ出す作業を人手で行ってきました。しかし、流星が発光する時間は1秒にも満たないものが多く、全ての動画を人が見て流星発生を検出することは非常に大変です。したがって、動画中に現れる流星を自動的に検出するアルゴリズムの開発が急務となっています。 そこで、本コンペでは、動画中の流星を発見するアルゴリズムを開発していただき、その性能を競って頂きます。 本コンペでは、機械学習や動画・画像認識の研究を行っている千葉工業大学 人工知能・ソフトウェア技術研究センター(STAIR Lab)がコンペティションの企画・運営を行い、PERCがデータセットの提供を行います。


タスク説明 

3秒の動画を入力として、その動画中に流星が現れるかどうかの二値分類を行うアルゴリズムの作成に挑戦していただきます。 訓練データとして、流星が現れる3秒動画200本と流星が現れない3秒動画9800本の計10000本を提供します。 また、評価用データとして、流星が現れるかどうかのラベルが付いていない3秒動画1000本を提供します。 全ての動画は解像度が横320 x 縦180のmpg形式です。



高校生部門について 

高校生の方にも本コンペティションに参加していただくために、高校生部門を新たに設けました。課題やルールに関しては、一般の参加者と同じです。高校生の皆様のご参加をお待ちしております。詳細についてはFAQページをご参照下さい。


本コンペへのお問い合わせ 

本コンペへの質問・お問い合わせは、人工知能・ソフトウェア技術研究センター(STAIR Lab)が対応致しますので、下記アドレスへお問い合わせ下さい。

千葉工業大学
人工知能・ソフトウェア技術研究センター(STAIR Lab)
問い合わせ窓口
challenge2018@stair.center

本コンペティションに参加するためには、SIGNATE.JPサイト利用規約(以下「利用規約」といいます。)に加え、本規約にもご同意いただく必要があります。本規約を熟読し、ご同意のうえ、本コンペティションにご参加ください。ご同意いただいた場合、本規約、「追加事項」として本規約に追加された事項、利用規約及びその他のご同意いただいた規約は、すべて一体の文書として当事者を拘束するものとします。


第1条(定義)

1.本規約において次の各用語の定義は、それぞれ次に定めるとおりとします。

(1)「本サイト」とは、コンペティションを掲載するウェブサイト「SIGNATE(https://signate.jp)」をいいます。
(2)「コンペティション」とは、ホストが開催する本サイト上でのAI開発又はデータ分析の競技会をいいます。
(3)「ホスト」とは、コンペティションの主催者をいいます。ホストは、株式会社SIGNATE(以下、「当社」といいます。)又は当社の顧客企業・提携企業・学校・団体等(以下、「顧客企業等」といいます。)です。
(4)「参加者」とは、会員のうち、コンペティションに参加する方をいいます。
(5)「提出物」とは、コンペティションにおいて提出される分析・予測結果及びレポート等の総称をいいます。
(6)「最終提出物」とは、コンペティション終了時点までに参加者が本サイトの所定のページで指定した提出物をいいます。
(7)「入賞候補者」とは、当社より入賞候補の通知を受けた参加者をいいます。
(8)「最終審査用提出物」とは、当社の指示に従い、入賞候補者が提出する分析・予測モデル、学習データ等をいいます。
(9)「最終審査」とは、入賞候補者の最終提出物及び最終審査用提出物に対して当社が行う、再現性検証を含む検収及び審査をいいます。
(10)「入賞者」とは、当社より入賞の通知を受けた入賞候補者をいいます。
2.本規約において使用される利用規約で定義された用語は、本規約で特に定義されていない限り、利用規約で定義された意味を有するものとします。

第2条(コンペティション)

1.コンペティションに参加することを希望する会員は、本規約に同意の上、各コンペティションにおいて定められている参加条件を満たしている必要があります。会員でない方は、コンペティションに参加することはできません。
2.参加者は、当社がご案内する方法に従い、各コンペティションに参加するものとし、各コンペティションにおいて定められたルールを順守する義務があります。
3.参加者は、各コンペティション期間中に各コンペティションの問題に対する提出物を提出することができ、ホストに対して問題解決方法の提案を各コンペティションの終了期限まで行うことができます。
4.参加者は、各コンペティションで指定される形式に従い、各コンペティションで指定される時点までに最終提出物を提出できるものとします。
5.提出された最終提出物は、各コンペティションで定められた評価方法で評価され、その評価をもって最終順位が決定されるものとします。
6.参加者は、提出物が数量的に評価できるものについては、原則、本サイト上で自己及び他の各参加者の評価結果を確認できるものとします。
7.参加者は、自身の提出物について、その適法性を含め、一切の責任を負うものとします。
8.参加者は、各コンペティションに直接関係のない提出物を提出しないものとします。
9.参加者は、特段の定めがない限り、コンペティションに関わる内容について、コンペティション期間中にホストに対して直接連絡、相談、依頼、勧誘等の活動はできないものとします。
10.参加者は、コンペティションに関して不明点や疑問点がある場合、必ず本サイト上に掲載する当社所定の手続きを通し、当社又は当社が指定する者まで連絡をすることとします。
11.当社は、本条各項で定める参加者の行為に対して、次条に定めるものを除き、一切の報酬その他の対価を支払う義務を有しないものとします。

第3条(懸賞及び権利の帰属)

1.参加者は、懸賞が付与されているコンペティションにおいて懸賞獲得の権利を得るためには、特段の定めがない限り、下記条件を満たす必要があります。

(1)入賞者となること
(2)最終提出物及び最終審査用提出物に含まれるすべての分析・予測結果及びレポート、分析・予測モデル・アルゴリズム・ソースコード・再現法等の説明書等、及び提出物に関する著作権、特許を受ける権利、ノウハウ等すべての譲渡可能な権利(著作権法第27条及び第28条に定める権利及び特許を受ける権利を含み、以下、「本件権利」といいます。)のホストその他の当該コンペティションにおける権利譲渡対象者への譲渡に同意すること
(3)最終提出物及び最終審査用提出物に含まれるノウハウを権利譲渡対象者が何ら制限なく自らの事業及びその他目的に利用できる権利を専有することに合意すること
(4)権利譲渡対象者に対し、本件権利の著作者人格権を行使しないことに同意すること
(5)前3号への同意その他の合理的な条項を含む、本件権利の譲渡のための契約を権利譲渡対象者と締結すること
(6)当社による当該参加者の本人確認が完了すること
(7)本規約及び利用規約の規定に違反していないこと

2.入賞候補者は、当社より入賞候補の通知を受け取った後、当社の指示に従い、最終審査用提出物を指定期日までに当社に提出し、また、最終提出物及び最終審査用提出物に関する確認・回答事項を指定期日までに当社まで連絡するものとします。当社は、かかる確認・回答事項を前提に、最終審査を行います。指定期日までに当社が満足する確認・回答事項が得られない場合、当社は、当該入賞候補者を最終審査の対象外とすることがあります。
3.入賞候補者は、最終審査の過程で、最終提出物又は最終審査用提出物に修正又は変更の必要があると当社が判断、もしくは追加で確認事項が発生した場合、当社の指示に従い、修正等の必要な項目や確認事項の詳細情報について、指定期日までに対処し又は回答するものとします。指定期日までに当社が満足する対処・回答が得られない場合、当社は、当該入賞候補者を最終審査の対象外とすることがあります。
4.当社は、最終審査を経て入賞者を決定し、その旨の通知をするものとします。

第4条(秘密保持)

1.参加者は、各コンペティションに関して当社から受領する情報やデータ(以下「当社提供情報」といいます。)を秘密情報として取り扱い、第三者には開示しないものとし、かつ、当該コンペティション及び別途当社が指定した目的以外に使用することができないものとします。但し、以下の各号に定める情報は、秘密情報には含まれないものとします。

(1)開示の時点において公知となっていた情報
(2)開示の時点において、既に参加者が所有していた情報(当該参加者が合理的な手段で証明することができる場合に限ります。)
(3)開示の後に、参加者の責めによらず公知となった情報
(4)開示されたいかなる情報にもよらずに独自に開発した情報(入賞対象者の評価対象提出物を除く)
(5)何ら秘密保持義務を負担することなく開示権限ある第三者から合法的に開示された情報(当該参加者が合理的な手段で証明することができる場合に限ります。)

2.参加者は、各コンペティションの終了後、直ちに当社提供情報を消去又は当社に返還するものとします。
3.入賞者は、自己の最終提出物及び最終審査用提出物についても、第1項に定める取扱いと同様の取扱いをするものとします。
4.各コンペティションにおいて、別途秘密情報に関する取り決めがなされる場合は、当該取り決めの規定が本規約の規定に優先するものとします。
5.参加者が本条の規定に違反したことによりホストその他の第三者と当社の間で紛争が生じ、その他当該第三者が当社に対して請求を行った場合、当該参加者は当社が被る一切の損害、損失、費用(弁護士費用を含むがこれに限定されない。)、逸失利益、逸失収入などを補償するものとします。
6.本条規定は、当社提供情報並びに入賞者の最終提出物及び最終審査用提出物に関し、当該コンペティション終了後及び参加者が当社サービスの退会手続きを完了した後5年間は有効に存続します。

第5条(参加者の禁止行為)

1.当社は、コンペティションにおいて、参加者に対し、次に掲げる行為を禁止します。

(1)クラッキングやチート行為、なりすまし等の不正行為
(2)当社が関与しない形で行う、他の参加者又はホスト(当社以外の者に限る。)に対する直接連絡、相談、依頼、勧誘、勧誘対応等の活動
(3)書面その他当社が指定する方法による事前の承諾を得ることなく行う、コンペティションを利用した一切の営利活動(勧誘・スカウト行為、教育事業における第三者への利用等を含む)
(4)参加者としての地位又は参加者としての権利義務の移転、担保設定その他の処分(当社の書面による同意がある場合を除く。)
(5)その他、利用規約に違反する行為

2.参加者が前項に規定する禁止行為を行ったと当社が認める場合、当社は、当該参加者に事前に通知することなく、当該参加者のコンペティションにおける失格処分、当社サービスの一時利用停止、退会処分、損害賠償請求その他当社が必要と判断した措置をとることがあります。

第6条(本規約に基づくサービス提供の変更・中断・終了)

1.当社は、会員に事前の通知をすることなく本規約に基づき提供するサービスの変更又は一時的な中断を行うことができます。
2.当社は、1ヵ月の予告期間をもって会員に通知の上、本規約に基づき提供するサービスの長期的な中断もしくは終了を行うことができます。
3.当社は、本条に基づき当社が行った措置により生じた結果及び損害について、一切の責任を負わないものとします。

第7条(本規約の変更)

1.当社は、会員の了承を得ることなく、本規約を随時変更、追加、削除することができます。

2018年4月1日 制定

評価関数
・精度評価は、評価関数「AUC(Area Under the Curve)」を使用します。
・評価値は0~1までの値をとり、精度が高いほど大きな値となります。

最終順位の決定
1.コンペ最終日までの評価(暫定評価)は評価用データセットの一部で評価し、コンペ終了後の評価(最終評価)は評価用データセットの残りの部分で評価します。※スコアボードはコンペ終了時に自動的に最終評価に切り替わり、それを元に最終順位を決定します。このため、開催中と終了後では順位が大きく変動する場合もあります。

2.スコアが同値の場合は、早い日時でご応募いただいた参加者を上位とします。
・コンペ終了後、入賞候補者には以下を提出していただきます。
 - 予測モデルのソースコード
 - 学習済モデル
 - 解説書(実行環境、実行時間*1、予測結果の再現手順**1、乱数シード**2、特徴量の説明や寄与度*3、モデリング手法、工夫点、得られた示唆等)
   *1 : 前処理部分、学習部分、予測部分それぞれに対して明記
   *2 : Random Forest等の乱数を利用した手法を用いた場合
   *3 : 算出が可能な手法を用いた場合
 - アンケート(参加の動機、費やした時間、ご意見・感想等) 

3.再現性検証期間中、以下いずれかに該当する場合は入賞資格を失います。このため、提出前に必ず問題がないことを確認してください。
 - 事務局からの手続き上の連絡・要求に対して指定された期限内に対応しない
 - 参加条件やルールを満たしていない
 - プログラムが動作しない
 - 最終提出した予測値と学習済モデルから出力される予測値が一致しない

4.入賞候補者が入賞資格を失った場合は、スコアが次点の方が繰り上がり、新たな入賞候補となります。全入賞者の確定をもって、それを最終順位とします。

参加条件
1.サイト利用規約の全ての条項に同意すること。
2.本コンペで提供されるデータについて、本コンペのモデル作成以外の目的で使用又は複製しないこと、第三者に対して開示しないことに同意すること。
3.本コンペにおける分析結果及び本コンペを通じて得られたプログラムに係る全ての権利について、営利目的の利用をしないこと、第三者に対して譲渡又は許諾しないことに同意すること。
4.コンペの応募終了後、利用者は直ちにデータを消去すること。
5.入賞した場合、7月以降に行われる報告会・表彰式で発表できること。

<報告会・表彰式について>
・東京もしくは千葉で開催することを予定しております。
・開催日は入賞者のご都合を考慮致します。
・交通費は別途支給いたします (チームの場合は1名のみ)。
 ※但し、遠方にお住まいの場合は (例えば海外) skype などでのご発表をお願いする可能性がございます。

心構え
・企業課題の達成、社会問題の解決、研究成果の共有等、大前提となる目的に合わせ、実用性を意識したアプローチで臨むこと。

システムの利用
・利用アカウントは1人につき1つまで。ただし、アカウントが1つであればチームでの参加も可能。

情報の取り扱い
・同じチーム以外の参加者と本コンペの予測に関連するデータ・ソースコードを共有する行為は禁止。

データの利用
・第三者の権利を侵害しない、無償で誰でも手に入るオープンなデータに限り、利用可能。
・訓練データに対して新たにアノテーションを行うことには制限を設けません。
・評価データに対してアノテーションを人手で付けることは禁止とします。

実装方法
・モデルの学習に利用するツールは、オープン且つ無料なもの(python, R 等)に限定。
・ソースコードは、以下のように、前処理、学習、予測、の3つに分け、それぞれを実行すれば処理が進むように実装すること。
 ①Preprocessing
  提供データを読み込み、データに前処理を施し、モデルに入力が可能な状態でファイル出力するモジュール。get_train_dataやget_test_dataのように、学習用と評価用を分けて、前処理を行う関数を定義してください。
 ②Learning
  ①で作成したファイルを読み込み、モデルを学習するモジュール。学習済みモデルや特徴量、クロスバリデーションの評価結果を出力する関数も定義してください。
 ③Predicting
  ①で作成したテストデータ及び②で作成したモデルを読み込み、予測結果をファイルとして出力するモジュール。
2018年3月3日(土)コンペ開始
2018年6月30日(土)コンペ終了
2018年7月以降 検収後、入賞者を決定
2018年7月以降 報告会開催@千葉工業大学スカイツリータウンキャンパス(仮)

高校生部門への登録方法
まず、SIGNATEで会員登録を行い、メテオサーチチャレンジの課題に挑戦してください。課題の投稿を一度行った後で、challenge2018 AT stair.center (ATを@に置き換えてください) へSIGNATEユーザ名、高校名、学年、氏名を本文に書いたメールを送ってください。

賞(高校生部門)
・優勝 図書カード5万円分
・2位 図書カード3万円分
・3位 図書カード1万円分