お知らせ
2019年2月21日: 第2ステージのページを解放しました。


2019年1月21日: ウォークフォワードシミュレーションの補足説明を追記しました。
2019年1月21日: タスク説明の補足資料 (ウォークフォワードによるパラメータ決定と計測手順) を更新しました。
2019年1月17日: タスク説明の補足資料 (ウォークフォワードによるパラメータ決定と計測手順) を掲載しました。
2019年1月16日: タスクおよびフローの補足説明を追記しました。

背景
昨今の計算機科学の急速な進展及びデータサイエンスの隆盛により、資産運用業界において様々な新しい投資戦略の仮説・検証が活発に進められています。そうした投資戦略の中には例えば機械学習をはじめとした人工知能に関する技術を取り入れたり、衛星画像データやWeb上のテキストデータを活用したりすることで独自の収益機会を追求するなど、既存の投資戦略との差別化を図る試みがなされています。
新しい投資戦略を既存のポートフォリオに組み入れるかを判断するにおいて、過去のある時点から一定期間にわたって再現性のある投資方針で運用を行ったと仮定した場合のシミュレーションを行うことがあり、このシミュレーションを通常バックテストと呼びます。
本コンペではマーケットのヒストリカルデータを用いて実運用を想定したシミュレータを作成いただき、バックテストの結果を競い合っていただきます。情報の先取りによるパラメータの選定防止やバックテスト結果の実運用における再現性などを考慮し、2つのステージに分けてコンペを開催いたします。

タスク説明
複数の投資戦略に関する収益率・取引高・取引執行コストのデータを元に、各戦略への資金の割り当ての重みwを最適化するモデルを作成していただきます。
時点tにおいてモデルに与え得る入力と求める出力は以下の通りです:
入力: 時点tまでの情報 (tを含む) (※) 
出力: 時点t+2において各投資戦略へ割り当てる資金の重みwt+2
重みwtiには次の制約条件が課されます:

また、データの先頭2行の重みwの値は0とします (sample_submit.csvをご参照ください) 。
モデルが出力する各時点の重みwの情報を用いることで、モデルの投資方針に従って過去の一定期間運用を行ったと仮定した場合の収益シミュレーション (≒ バックテスト) を行うことができます。

※ 予測時点よりも将来期間のデータを学習に使用することは情報の先取りに該当しますので、時点tまでの情報に限るという条件は学習・予測両方の段階に適用されます。

ウォークフォワード・シミューレーションをする際の注意点について
　・時刻t時点で時刻t+2の教師データを学習することはできません (情報の先取りが発生します) 。
　・例えば微分学習等を行う場合は、時刻t時点では時刻t-2時点での予測是非を学習させることができます。

データ説明
以下の3種類のデータが与えられ、いずれのデータも縦にtimestamp・横に投資戦略が並べられています。
Return
　[timestamp, 戦略] の収益率
Turnover
　[timestamp, 戦略] の取引高 (成立した売買約定の数量のこと)
Cost
　[timestamp, 戦略] の取引執行コスト

上記3種類のデータを使用して、時点tにおける時点t+2で使用する各戦略への資金の割り当ての重みwを出力するモデルを作成していただきます。
Weight
　[timestamp, 戦略] の割当資金の重み

フロー説明
市場現象という複雑な系の特性を鑑み、再現性の低さを前提とした上でよりロバストなモデルを採用するため、コンペティションを2つのステージに分けて開催します。
まず、開始から第1ステージ終了まではモデル作成に取り組んでいただきます。
新しいデータの公開を以って第2ステージの開始とし、このステージではアップロード期間に提出した予測値を出力したモデル (第1ステージと同一のモデル) を新データに対して走らせた結果を一度だけ投稿していただきます。
新しく公開するデータは開始日に公開したデータ (A) における観測期間と独立した期間のデータ (B) を追加したデータ (A + B) であり、最終評価に使用されます。
AとB両方のデータにおいてより優れたスコアを収めたモデルを上位とします。
観測期間と独立した期間のデータ (B) は開始日に公開したデータ (A) に対して連続した未来のものとなります。



評価方法
モデルが出力する時点tにおける戦略iの重みwti (※) と各戦略の収益率 (Return) ・取引高 (Turnover) ・取引執行コスト (Cost) の情報から下記の式に基いてスコアを算出し精度評価に使用します。
また、スコアが高いほどモデルが優れているとみなします。




※ 時点tにおいて、時点t+2で使用する各投資戦略へ割り当てる資金の重みwt+2を出力してください。


最終順位の決定
1. 第1ステージ (コンペ開始日からモデル作成期限まで) においては学習用データセット (A) の予測結果を評価します。
第2ステージ開始時に学習用データ (A) における観測期間と独立した期間のデータ (B) を追加した評価用データセット (A + B) を公開し、第1ステージの期限までに作成したモデルと同一のモデルを評価用データセットに走らせた結果を投稿いただきます。このとき双方のステージの期間Aの予測値が一致している、かつ、AとBそれぞれの期間の平均PnLとスコアが一定の閾値 (0.017215, 0.358303) を超えている参加者を対象に、期間Aと期間Bのスコアの小さい方を最終スコアとして、入賞候補者を決定します。
2. スコアが同値の場合は、早い日時でご応募いただいた参加者を上位とします。
3. コンペ終了後、入賞候補者には以下を提出していただきます。
　- 予測モデルのソースコード
　- 学習済モデル
　- 解説書 (実行環境、実行時間*1、予測結果の再現手順*1、乱数シード*2、特徴量の説明や寄与度*3、モデリング手法、工夫点、得られた示唆等)
　　*1 : 前処理部分、学習部分、予測部分それぞれに対して明記
　　*2 : Random Forest等の乱数を利用した手法を用いた場合
　　*3 : 算出が可能な手法を用いた場合
　- アンケート (参加の動機、費やした時間、ご意見・感想等)
4. 再現性検証期間中、以下いずれかに該当する場合は入賞資格を失います。このため、提出前に必ず問題がないことを確認してください。
　- 事務局からの手続き上の連絡・要求に対して指定された期限内に対応しない
　- 参加条件やルールを満たしていない
　- プログラムが動作しない
　- 最終提出した予測値と学習済モデルから出力される予測値が一致しない
　- 提出された第1ステージの結果と第2ステージの結果が異なるモデルから出力されたと判断される場合
5. 入賞候補者が入賞資格を失った場合はスコアが次点の方が繰り上がり新たな入賞候補となります。

全入賞者の確定を以って、それを最終順位とします。

参加資格
・入賞した場合、本コンペティションの事務局メンバーにメールアドレスを共有することに同意すること

心構え
・企業課題の達成、社会問題の解決、研究成果の共有等、大前提となる目的に合わせ、実用性を意識したアプローチで臨んでください。

システムの利用
・利用アカウントは1人につき1つまで。
ただし、アカウントが1つであればチームでの参加も可能 (代表者を選定の上、代表者アカウントで分析結果を投稿) 。
1. チームメンバー全員がSIGNATEへユーザ登録。
2. チーム代表者は自身と全チームメンバーのメールアドレスをお問い合わせフォームより送信。

情報の取り扱い
・他の参加者と本コンペの予測に関連するデータ・ソースコードを共有する行為は禁止とします。

データの利用
・外部データの利用は不可とします。

実装方法
・モデルの学習に利用するツールは、オープン且つ無料なもの (python, R等) に限定します。
・ソースコードは以下のように、前処理・学習・予測の3つに分け、それぞれを実行すれば処理が進むように実装してください。
　① 前処理
　　提供データを読み込み、データに前処理を施し、モデルに入力が可能な状態でファイル出力するモジュール。
　　get_train_dataやget_test_dataのように学習用と評価用を分けて前処理を行う関数を定義してください。
　② 学習
　　①で作成したファイルを読み込み、モデルを学習するモジュール。学習済みモデルや特徴量重要度、クロスバリデーションの評価結果を出力する関数も定義してください。
　③ 予測
　　①で作成したテストデータ及び②で作成したモデルを読み込み、予測結果をファイルとして出力するモジュール。

Disclosure policy

As a general rule, in accordance with Article 4, Paragraph 1 of the terms of participation, diclosing any contents such as insights and deliverables transmitted through the information or data provided by our company in relation to this competition is not permitted, however, only after the completion of this competition and for non-commercial purposes, it will be possible to disclose the contents within the score of the table below
Model *1
Private
Analysis results *2
Private
Public : Posting to social media sites, blogs and source repositories, and citing to papers
Restricted : Using in a limited range from research, education to seminars, where many unspecified people cannot access
*1 Execution unit source code and learned models
*2 The insights obtained using the information and data provided, or the solutions including scripts and processed data such as summary statistics

In order to participate in the Competition, you are required to agree to these Terms, in addition to the Terms of Use of SIGNATE.JP Site (hereinafter referred to as the “Terms of Use”). You should participate in the Competition after reading carefully and agreeing to these Terms. If you agree, these Terms, the matters that are added to these Terms as "additional matters", the Terms of Use and other terms and conditions that you have agreed to shall be binding on the relevant parties as integral documents.


Article 1. Definitions

１.For the purpose of these Terms, the following terms shall be defined as follows:

(１)"Site" means the website "SIGNATE (https://signate.jp)” on which the Competitions are posted.
(２)"Competition" means any competition on AI development or data analysis on the Site as held by the Host.
(３)"Host" is the host(s) of the Competitions. The Host may be SIGNATE, Inc. (hereinafter referred to as the “Company”) or the Company’s client companies, affiliated companies, schools or organizations, etc. (hereinafter referred to as the “Client(s)”).
(４)"Participant(s)" means the member(s) who participate in a Competition.
(５)"Submissions" means, collectively, the analysis and prediction results and reports, etc. as submitted in the Competition.
(６)"Final Submissions" means the Submissions that are specified by a Participant on the prescribed page in the Site by the time of completion of a Competition.
(７)"Winner Candidate" means the Participant who has received a notice from the Company that he/she is nominated as a winner candidate.
(８)"Submissions for Final Judgment" means the analysis and prediction model and learning data, etc. as submitted by a Winner Candidate pursuant to the instructions of the Company.
(９)"Final Judgment" means the acceptance inspection and judgment, including reproducibility verification, by the Company for the Final Submissions and Submissions for Final Judgment of a Winner Candidate.
(１０)"Winner" means the Winner Candidate who is informed by the Company that he/she has won a prize.
２.Unless otherwise defined in these Terms, the terms used in these Terms that are defined in the Terms of Use shall have the same meaning as defined in the Terms of Use.

Article 2. Competition

１.A member who desires to participate in a Competition shall be required to agree to these Terms and to satisfy the conditions for participation as specified in each such Competition. Any person who is not a member shall not participate in any Competition.
２.Participants shall participate in each Competition in the manner as advised by the Company and shall be obligated to comply with the rules as prescribed in each Competition.
３.Participants may submit the Submissions for the assignment of each Competition during the period of such Competition and submit a proposal on the method of solving the problem to the Host by the end of the period of the said Competition.
４.Participants may submit the Final Submissions in the form specified in each Competition by the time specified by the said Competition.
５.The Final Submissions as submitted shall be evaluated by the evaluation method as specified in each Competition and the final rank order shall be determined based on such evaluation.
６.Any Participant may, as a general rule, check the evaluation results of the Participant him/herself and each of the other Participants on the Site for the Submissions that may be evaluated quantitatively.
７.Participants shall be liable or otherwise responsible for their own Submissions, including their legality.
８.Participants shall not submit any Submissions that have no direct relationship to each Competition.
９.Unless otherwise provided for, Participants shall not directly communicate to, consult with, make a request to, solicit or take any other actions with the Host in respect of the matters related to a Competition during the period of the said Competition.
１０.Any Participant who has uncertainty or questions about any Competition shall make sure to contact the Company or its designee through the procedures prescribed by the Company as posted on the Site.
１１.The Company shall not be obligated to pay any remuneration or other consideration other than those prescribed in the following Article for any act of the Participants as prescribed in paragraphs hereof.

Article 3 Reward and Vesting of Rights

１.Unless otherwise provided for, any Participant shall satisfy the following requirements in order to be entitled to receive a reward in any Competition that offers a reward:

(１)To be a winner;
(２)To agree to transfer to the Host and the relevant transferee of rights in such Competition all transferable rights, such as copyrights, rights to obtain patents and know-how, etc. in and to all analysis and prediction results, reports, analysis and prediction model, algorithm, source code and documentations for the model reproducibility, etc., and the Submissions contained in the Final Submissions and Submissions for Final Judgment (including the rights as prescribed in Article 27 and Article 28 of the Copyright Act and the rights to obtain patents; hereinafter referred to as the "Rights");
(３)To agree that any relevant transferee of rights exclusively has the right to use the know-how contained in the Final Submissions and Submissions for Final Judgment for its own business and other purpose without any restriction;
(４)To agree not to exercise moral rights to the Rights against the relevant transferee of rights;
(５)To enter into an agreement for the transfer of the Rights with the relevant eligible transferee of rights, including the agreement to the matter in the preceding three (3) items and other reasonable provisions;
(６)To have the personal identity of such Participant verified by the Company.
(７)Not to breach any provision of these Terms and the Terms of Use.

２.Any Winner Candidate shall, after having received a notice from the Company that he/she is nominated as a winner candidate, submit the Submissions for Final Judgment on or before the designated date and communicate the matters requiring confirmation or response in relation to the Final Submissions and the Submissions for Final Judgment to the Company on or before the designated date, in accordance with the instructions of the Company. The Company shall carry out the final judgment based on such matters requiring confirmation or response. If the Company receives no confirmation or response satisfactory to the Company on or before the designated date, the Company may exclude such Winner Candidate from the subject of the final judgment.
３.If the Company considers that the Final Submissions or Submissions for Final Judgment need to be amended or modified, or there occur any additional matters requiring confirmation, in the course of the final judgment, any Winner Candidate shall take action or make response in relation to the matters that require amendment, etc. or the detailed information on the matters requiring confirmation, on or before the designated date in accordance with the instructions of the Company. If the Company receives no action or response satisfactory to the Company on or before the designated date, the Company may exclude such Winner Candidate from the final judgment.
４.The Company shall determine the Winner through the final judgment and inform the Winner to that effect.

Article 4 Confidentiality

１.Any Participant shall treat any information and data that they receive from the Company in relation to each Competition (hereinafter referred to as the "Company-Provided Information") as confidential information and shall not disclose the same to any third party and use the same for any purpose other than for such Competition and purpose specified by the Company separately; provided, however, that the confidential information shall not include any information that falls under any of the following items:

(１)Information that is known to the public at the time of the disclosure;
(２)Information that is already possessed by the Participant at the time of the disclosure (only in the case where such Participant may demonstrate such fact by reasonable means);
(３)Information that becomes known to the public without the fault of the Participant after the disclosure;
(４)Information that is independently developed by the Participant without reference to any information as disclosed (except for those Submissions of the person eligible for a prize which are evaluated); or
(５)Information that is rightfully disclosed by any third party having a right to do so without the obligations of confidentiality (only in the case where such Participant may demonstrate such fact by reasonable means).

２.Any Participant shall delete or return to the Company the Company-Provided Information immediately after the completion of each Competition.
３.Any Winner shall handle his/her Final Submissions and Submissions for Final Judgment in the same manner as prescribed in paragraph 1 hereof.
４.If there is any separate arrangement in relation to the confidential information in each Competition, the provisions of such arrangement shall prevail over the provisions of these Terms.
５.If any dispute occurs between the Host or other third party and the Company due to the breach by any Participant of the provisions of this Article and such other party makes any claim against the Company, such Participant shall compensate for any damage, loss, expenses (including, but not limited to, attorneys’ fees), lost profits and lost revenues, etc. incurred by the Company.
６.The provisions of this Article shall survive the termination of the relevant Competition or the Participant’s completion of the procedures for withdrawal from the service of the Company, with respect to the Company-Provided Information and the Winner’s Final Submissions and Submissions for Final Judgment for a period of five (5) years thereafter.

Article 5 Prohibited Acts of Participants

１．The Company shall prohibit Participants from engaging in any of the following acts in any Competition:

(１)An act of cracking, cheating, spoofing other misconduct;
(２)An act of directly communicating to, consulting with, making a request to, soliciting or responding to solicitation or other activities to other Participants or the Host (other than the Company) without the involvement of the Company;
(３)Any profitmaking activities using the Competition (including solicitation or scouting activities, and use for a third party in educational business, etc.) without the prior approval of the Company in writing or any other manner specified by the Company;
(４)Transfer, offering as collateral or other disposition of the status as a Participant or the rights or obligations as a Participant (except with the prior written consent of the Company); and
(５)Any other act in breach of the Terms of Use.

２.If the Company deems that a Participant engages in any of the prohibited acts as prescribed in the preceding paragraph, the Company may, without prior notice to the Participant, disqualify the Participant from the Competition in which the Participant participates, temporarily suspend the Participant from using the service of the Company, withdraw the Participant’s membership, claim damages from the Participant or take any other measures deemed necessary by the Company.

Article 6. Change, Discontinuation or Termination of Provision of Services under These Terms

１.The Company may change or temporarily suspend the services provided by the Company under these Terms without prior notice to the members.
２.Upon one (1) month prior notice to the members, the Company may suspend for a long period of time or terminate the services provided by the Company under these Terms.
３.The Company shall not be liable for any results or damage arising from the measures taken by the Company under this Article.

Article 7 Modification of Terms

１.The Company may modify, add or delete any provisions of these Terms from time to time without the approval of the members.

Enforced on April 1, 2018