お知らせ
2020/05/01 コンペ規約に同意した方のみ、フォーラムの利用を可能としました。
2020/07/09 各部門の1位の懸賞内容に変更を加えました。
2020/09/09 成果発表会のスケジュール予定を更新しました。


課題
投球毎のデータと選手毎のデータに分けて、データの蓄積を行なっています。
その蓄積データを元に「
どんな球種を投げるのか」を予測していただきます。

予測対象の球種は以下8種類とします。
・ストレート
・カーブ
・シュート
・シンカー
・スライダー
・チェンジアップ
・フォーク
・カットボール


予測部門共通の注意事項について
今回、配布データに関して自由度の高いデータを提供しています。
そのため、モデリングを行う前にタブ「予測部門の共通注意事項」から注意事項を必ずご確認ください


総合ランキング
・本部門は、総合ランキング(スコア・メダル)の対象です。

評価関数

・精度評価は、評価関数「multi-class logloss」を使用します。

・Loglossをマルチクラス分類に拡張したものとなります。

・各クラスの予測確率を算出し、各々のレコードが属するクラスの予測確率の対数をとり、符号を反転させた値がスコアとなります。

・評価値は0以上の値をとり、精度が高いほど小さな値となります。

  

応募方法
・応募ファイルの形式はcsv (カンマ区切り) のヘッダーなしファイルです。
・応募ファイルの1列目にインデックスを、2〜8列目に予測値を記述します。

※インデックスは、データ内連番とします。

<投稿ファイルイメージ>
0,0.125,0.125,0.125,0.125,0.125,0.125,0.125,0.125
1,0.125,0.125,0.125,0.125,0.125,0.125,0.125,0.125
・・・
521649,0.125,0.125,0.125,0.125,0.125,0.125,0.125,0.125

心構え
・企業課題の達成、社会問題の解決、研究成果の共有等、大前提となる目的に合わせ、
 実用性を意識したアプローチで臨むこと。 
・特に運用性・拡張性を鑑みた実装を期待します。すなわち、提供データのみを利用し、
 機械的・自動的な処理に基づく学習・推論を前提とし、人間の判断に依存しない処理フローを期待します。

システムの利用
・個人で参加する場合、アカウントは1人につき1つまで。
1日の応募回数の上限は3回です。
・チームでの参加を希望する場合、代表者を含めて最大5人のチームが作成可能です。
   ※チームを作成する場合は、コンペページ右上の「チーム作成」ボタンより、代表者の方がお申込み下さい。
   ※本コンペでチームを作成をされる場合は7/14(火)までにお申込み下さい。
   ※チーム作成者(代表者)がSIGNATEから退会すると、チームは解散として扱われます。
    チームを解散すると、それまでメンバーとして参加していたユーザーは、
    チームとしても個人としても、当該コンペに投稿できなくなりますのでご注意下さい。
   ※その他、チーム機能の詳細はこちらをご参考下さい(https://signate.jp/features/team)。

情報の取り扱い
・同じチーム以外の参加者と、本コンペの予測に関連するデータ、ソースコード、および記述子に関する
 情報の共有・公開を禁止します。
・本コンペティションで提供されるデータは、本コンペティションのモデル作成以外の目的で使用できません。
・データの複製、改変、第三者に対する開示(再配布)は認められていません。
・本コンペティション期間中・終了後の学習済みモデルや分析結果(ソースコード、アプローチ、戦略等)は本コンペティションの規約に同意の上、フォーラム※のみで共有可能です。
※フォーラムは現在、準備中です。

データの利用
・ある時点での球種や投球位置を予測する場合、投手がボールを投げる以前に取得可能な情報であれば使用可能です。
・日・週・月単位データの場合は、予測する時点の前日、前週、前月以前に取得可能な情報であれば使用可能です。
目的変数(今回では球種とコース)もしくは、それと同等のデータを与えるような利用をしないこと。
・外部データをご利用の場合はデータの更新日にお気を付けください
・第三者の権利を侵害しない、無償で誰でも手に入るオープンなデータに限り、提供データ以外のデータや、学習済モデルも利用可能です。
  ※外部データを利用する場合は、フォーラム「外部データの開示スレッド」にて外部データの元ソースを開示してください。
  ※外部データの利用は7/1(木)23:59:00までにフォーラム「外部データの開示スレッド」にて書き込みを行なってください。
       ※フォーラムは現在、準備中です。
外部のAPI (Google Cloud API等)を使用した実装は禁止します。

実装方法
【球種予測部門】と【コース予測部門】では以下の実装方法を指定します

・モデルの学習に利用するツールは、オープン且つ無料なもの (python, R等) に限定。 
・提案した方法が一般的な環境において追加費用を伴わず、再現及び継続使用可能であることを保証すること。
 同じフォーマットで、異なるデータを入力した場合にも同様なロジックで予測できなければなりません。
・ソースコードは、以下のように、前処理・学習・予測の3つに分け、それぞれを実行すれば
 処理が進むように実装すること。 
 ①preprocess
  提供データを読み込み、データに前処理を施し、モデルに入力が可能な状態でファイル出力するモジュール。
  get_train_dataやget_test_dataのように、学習用と評価用を分けて、前処理を行う関数を定義してください。
  ※preprocessに渡す情報として、学習用データと評価用データを混在させることは可能ですが、
  get_train_dataで返す結果は前処理された学習用データ、get_test_dataで返す結果は前処理された
  評価用データとなるように、処理の内容を独立させて下さい。
 ②train
  ①で作成したファイルを読み込み、モデルを学習するモジュール。
  学習済みモデルや特徴量、クロスバリデーションの評価結果を出力する関数も定義してください。 
 ③predict
  ①で作成したテストデータ及び②で作成したモデルを読み込み、予測結果をファイルとして出力するモジュール。

投球毎のデータに対する注意点

今回のタスクは前投球以前のデータを元にある時点での球種やコースを予測可能なモデルを作成することとします。
そのため、予測モデルに与える特徴量として未来情報を予測アルゴリズムに与えることは禁止とします。
今回は自由度の高いデータを用いてのコンペティションとなっていることを注意しながら楽しんでいただければと思っております。
また、週単位や月単位での集約特徴量や、ラグ特徴量、window関数による特徴量などを作成する際には下記のような条件を注意してください。



選手毎のデータに対する注意点
今回のタスクは今後初出場する投手の球種やコースも予測可能なモデルであるような汎用性の高さを求めます
よって1選手単位の特徴量ではなく、様々な単位でまとめた選手の特徴を用いましょう。

悪い例
・選手ID_XXXXXはストレートのみ投げているので、選手ID_XXXXXのあるかのフラグ値を特徴量として追加した。
 → 選手ID_XXXXXが引退した場合、フラグ値は常に0となるため特徴量としての意味を失ってしまいます。

良い例

・年代別で投げる球種に違いが見られたため、投手の年齢(連続値)と年代(カテゴリ)を特徴量として追加した。
 → 年齢や年代単位でまとめられた選手の特徴量となるため、有効な特徴量となります。

Disclosure policy

As a general rule, in accordance with Article 4, Paragraph 1 of the terms of participation, diclosing any contents such as insights and deliverables transmitted through the information or data provided by our company in relation to this competition is not permitted, however, only after the completion of this competition and for non-commercial purposes, it will be possible to disclose the contents within the score of the table below
Model *1
Restricted
Analysis results *2
Restricted
Public : Posting to social media sites, blogs and source repositories, and citing to papers
Restricted : Using in a limited range from research, education to seminars, where many unspecified people cannot access
*1 Execution unit source code and learned models
*2 The insights obtained using the information and data provided, or the solutions including scripts and processed data such as summary statistics

※Notes

本コンペティションで提供されるデータは、本コンペティションのモデル作成以外の目的で使用できません。
データの複製、改変、第三者に対する開示(再配布)は認められていません。
本コンペティション期間中・終了後の学習済みモデルや分析結果(ソースコード、アプローチ、戦略等)は本コンペティションの規約に同意の上、フォーラム※のみで共有可能です。
該当内容を個人ブログ、SNS、github等の外部サイトにおける公開は認められません。
コンペの過程における成果物の営利目的での利用は認められていません。

【本コンペへの参加条件】
・本コンペティションで提供されるデータについて、本コンペティションのモデル作成以外の目的で使用又は複製しないこと、第三者に対して開示しないことに同意すること
・本コンペティションにおける分析結果及び本コンペティションを通じて得られたプログラムに係る全ての権利について、営利目的の利用をしないこと、第三者に対して譲渡又は許諾しないことに同意すること
・本コンペティション終了後、参加者は直ちに本コンペティションで提供したデータを消去すること
・本コンペティション参加規約の全ての条項に同意すること
※ただし本コンペティション参加規約と参加条件とに競合があった場合は、上述の参加条件が優先されます


In order to participate in the Competition, you are required to agree to these Terms, in addition to the Terms of Use of SIGNATE.JP Site (hereinafter referred to as the “Terms of Use”). You should participate in the Competition after reading carefully and agreeing to these Terms. If you agree, these Terms, the matters that are added to these Terms as "additional matters", the Terms of Use and other terms and conditions that you have agreed to shall be binding on the relevant parties as integral documents.


Article 1. Definitions

1.For the purpose of these Terms, the following terms shall be defined as follows:

(1)"Site" means the website "SIGNATE (https://signate.jp)” on which the Competitions are posted.
(2)"Competition" means any competition on AI development or data analysis on the Site as held by the Host.
(3)"Host" is the host(s) of the Competitions. The Host may be SIGNATE, Inc. (hereinafter referred to as the “Company”) or the Company’s client companies, affiliated companies, schools or organizations, etc. (hereinafter referred to as the “Client(s)”).
(4)"Participant(s)" means the member(s) who participate in a Competition.
(5)"Submissions" means, collectively, the analysis and prediction results and reports, etc. as submitted in the Competition.
(6)"Final Submissions" means the Submissions that are specified by a Participant on the prescribed page in the Site by the time of completion of a Competition.
(7)"Winner Candidate" means the Participant who has received a notice from the Company that he/she is nominated as a winner candidate.
(8)"Submissions for Final Judgment" means the analysis and prediction model and learning data, etc. as submitted by a Winner Candidate pursuant to the instructions of the Company.
(9)"Final Judgment" means the acceptance inspection and judgment, including reproducibility verification, by the Company for the Final Submissions and Submissions for Final Judgment of a Winner Candidate.
(10)"Winner" means the Winner Candidate who is informed by the Company that he/she has won a prize.
2.Unless otherwise defined in these Terms, the terms used in these Terms that are defined in the Terms of Use shall have the same meaning as defined in the Terms of Use.

Article 2. Competition

1.A member who desires to participate in a Competition shall be required to agree to these Terms and to satisfy the conditions for participation as specified in each such Competition. Any person who is not a member shall not participate in any Competition.
2.Participants shall participate in each Competition in the manner as advised by the Company and shall be obligated to comply with the rules as prescribed in each Competition.
3.Participants may submit the Submissions for the assignment of each Competition during the period of such Competition and submit a proposal on the method of solving the problem to the Host by the end of the period of the said Competition.
4.Participants may submit the Final Submissions in the form specified in each Competition by the time specified by the said Competition.
5.The Final Submissions as submitted shall be evaluated by the evaluation method as specified in each Competition and the final rank order shall be determined based on such evaluation.
6.Any Participant may, as a general rule, check the evaluation results of the Participant him/herself and each of the other Participants on the Site for the Submissions that may be evaluated quantitatively.
7.Participants shall be liable or otherwise responsible for their own Submissions, including their legality.
8.Participants shall not submit any Submissions that have no direct relationship to each Competition.
9.Unless otherwise provided for, Participants shall not directly communicate to, consult with, make a request to, solicit or take any other actions with the Host in respect of the matters related to a Competition during the period of the said Competition.
10.Any Participant who has uncertainty or questions about any Competition shall make sure to contact the Company or its designee through the procedures prescribed by the Company as posted on the Site.
11.The Company shall not be obligated to pay any remuneration or other consideration other than those prescribed in the following Article for any act of the Participants as prescribed in paragraphs hereof.

Article 3 Reward and Vesting of Rights

1.Unless otherwise provided for, any Participant shall satisfy the following requirements in order to be entitled to receive a reward in any Competition that offers a reward:

(1)To be a winner;
(2)To agree to transfer to the Host and the relevant transferee of rights in such Competition all transferable rights, such as copyrights, rights to obtain patents and know-how, etc. in and to all analysis and prediction results, reports, analysis and prediction model, algorithm, source code and documentations for the model reproducibility, etc., and the Submissions contained in the Final Submissions and Submissions for Final Judgment (including the rights as prescribed in Article 27 and Article 28 of the Copyright Act and the rights to obtain patents; hereinafter referred to as the "Rights");
(3)To agree that any relevant transferee of rights exclusively has the right to use the know-how contained in the Final Submissions and Submissions for Final Judgment for its own business and other purpose without any restriction;
(4)To agree not to exercise moral rights to the Rights against the relevant transferee of rights;
(5)To enter into an agreement for the transfer of the Rights with the relevant eligible transferee of rights, including the agreement to the matter in the preceding three (3) items and other reasonable provisions;
(6)To have the personal identity of such Participant verified by the Company.
(7)Not to breach any provision of these Terms and the Terms of Use.

2.Any Winner Candidate shall, after having received a notice from the Company that he/she is nominated as a winner candidate, submit the Submissions for Final Judgment on or before the designated date and communicate the matters requiring confirmation or response in relation to the Final Submissions and the Submissions for Final Judgment to the Company on or before the designated date, in accordance with the instructions of the Company. The Company shall carry out the final judgment based on such matters requiring confirmation or response. If the Company receives no confirmation or response satisfactory to the Company on or before the designated date, the Company may exclude such Winner Candidate from the subject of the final judgment.
3.If the Company considers that the Final Submissions or Submissions for Final Judgment need to be amended or modified, or there occur any additional matters requiring confirmation, in the course of the final judgment, any Winner Candidate shall take action or make response in relation to the matters that require amendment, etc. or the detailed information on the matters requiring confirmation, on or before the designated date in accordance with the instructions of the Company. If the Company receives no action or response satisfactory to the Company on or before the designated date, the Company may exclude such Winner Candidate from the final judgment.
4.The Company shall determine the Winner through the final judgment and inform the Winner to that effect.

Article 4 Confidentiality

1.Participants shall treat any information, data, or such contents as insights and deliverables transmitted through the service where they receive from the Company in relation to each Competition (hereinafter referred to as the "Company-Provided Information") as confidential information and shall not disclose the same to any third party and use the same for any purpose other than for such Competition and purpose specified by the Company separately; provided, however, that the confidential information shall not include any information that falls under any of the following items:

(1)Information that is known to the public at the time of the disclosure;
(2)Information that is already possessed by the Participant at the time of the disclosure (only in the case where such Participant may demonstrate such fact by reasonable means);
(3)Information that becomes known to the public without the fault of the Participant after the disclosure;
(4)Information that is independently developed by the Participant without reference to any information as disclosed (except for those Submissions of the person eligible for a prize which are evaluated); or
(5)Information that is rightfully disclosed by any third party having a right to do so without the obligations of confidentiality (only in the case where such Participant may demonstrate such fact by reasonable means).

2.Any Participant shall delete or return to the Company the Company-Provided Information immediately after the completion of each Competition.
3.Any Winner shall handle his/her Final Submissions and Submissions for Final Judgment in the same manner as prescribed in paragraph 1 hereof.
4.If there is any separate arrangement in relation to the confidential information in each Competition, the provisions of such arrangement shall prevail over the provisions of these Terms.
5.If any dispute occurs between the Host or other third party and the Company due to the breach by any Participant of the provisions of this Article and such other party makes any claim against the Company, such Participant shall compensate for any damage, loss, expenses (including, but not limited to, attorneys’ fees), lost profits and lost revenues, etc. incurred by the Company.
6.The provisions of this Article shall survive the termination of the relevant Competition or the Participant’s completion of the procedures for withdrawal from the service of the Company, with respect to the Company-Provided Information and the Winner’s Final Submissions and Submissions for Final Judgment for a period of five (5) years thereafter.

Article 5 Prohibited Acts of Participants

1.The Company shall prohibit Participants from engaging in any of the following acts in any Competition:

(1)An act of cracking, cheating, spoofing other misconduct;
(2)An act of directly communicating to, consulting with, making a request to, soliciting or responding to solicitation or other activities to other Participants or the Host (other than the Company) without the involvement of the Company;
(3)Any profitmaking activities using the Competition (including solicitation or scouting activities, and use for a third party in educational business, etc.) without the prior approval of the Company in writing or any other manner specified by the Company;
(4)Transfer, offering as collateral or other disposition of the status as a Participant or the rights or obligations as a Participant (except with the prior written consent of the Company); and
(5)Any other act in breach of the Terms of Use.

2.If the Company deems that a Participant engages in any of the prohibited acts as prescribed in the preceding paragraph, the Company may, without prior notice to the Participant, disqualify the Participant from the Competition in which the Participant participates, temporarily suspend the Participant from using the service of the Company, withdraw the Participant’s membership, claim damages from the Participant or take any other measures deemed necessary by the Company.

Article 6. Change, Discontinuation or Termination of Provision of Services under These Terms

1.The Company may change or temporarily suspend the services provided by the Company under these Terms without prior notice to the members.
2.Upon one (1) month prior notice to the members, the Company may suspend for a long period of time or terminate the services provided by the Company under these Terms.
3.The Company shall not be liable for any results or damage arising from the measures taken by the Company under this Article.

Article 7 Modification of Terms

1.The Company may modify, add or delete any provisions of these Terms from time to time without the approval of the members.

Enforced on April 1, 2018
Last updated on January 18, 2019