お知らせ(2021.11.22): 入賞者の解法ソースコード公開

本コンペティションで入賞を果たした上位3名分のソースコードを、下記のGitHubページにて公開しました。
https://github.com/signatelab/paper-classification-challenge-winners-solutions


お知らせ(2021.08.16): ラベル判定結果の誤りについて

一部のデータにおいて、ラベル判定結果に関する誤りが発見されました。詳細はこちらのディスカッションページをご確認ください。なお、本件に関して配布データセットに修正を加える予定はございません。

またこれに伴い、学習データのラベル修正に関するルールを変更致しましたので、ルールページ「データの利用」欄も合わせてご確認ください。

お知らせ(2021.08.06): 表彰式の開催予定について
本コンペティションの表彰式を下記日時にて開催致しますので、ご参加中の皆様は是非ご予定頂けますと幸いです。
開催日時: 2021年11月14日(日)13:00-14:00(※終了時間は前後する場合がございます)

お知らせ(2021.08.03): ルールの一部変更のお知らせ

本日、コンペティション期間中の「情報の取り扱い」に関するルールの一部を変更致しました。変更内容に関してはこちら(フォーラムページ)をご参照下さい。



背景・目的

 近年、世界ではエビデンスに基づく医療(Evidence-Based Medicine; EBM)の実施が求められており、その根拠となる学術論文のシステマティック・レビュー(Systematic Review; SR)の重要性が高まっています。

 システマティック・レビューとは、ライフサイエンス、特に医学分野において浸透している研究方法で、特定の研究テーマに対する文献をくまなく調査し、各研究データのバイアスを評価しながら、体系的に同質の研究データを収集・解析する研究手法のことを指します。

 通常、システマティックレビューは以下のようなプロセスに沿って進められます。初期のステップとしては、網羅的かつ系統的に論文を検索・収集し、その中から対象の研究テーマに該当する論文を「選別」する作業が必要となります。また、様々な医学論文のデータベースを横断的に検索する上では、各データベースの特徴や機能を理解したうえで検索式を設定したり、あるいは既存の検索フィルタで選別が不十分な場合は人手による取捨選択を行うなど、多くの時間と労力が必要とされます。

 ▼一般的なSRの作業フロー
  (1)研究テーマの決定
  (2)関連論文の検索、収集、選別

  (3)研究データの抽出、妥当性の評価
  (4)データの要約
  (5)(可能であれば)メタアナリシスによる統計学的解析
  (6)結果の解釈、結論

そこで本コンペティションでは、システマティックレビューの効率化・省力化を目指し、網羅的に収集された論文の中から目的の論文を「選別」するための機械学習アルゴリズムの構築にチャレンジして頂きます。


タスク説明

本コンペティションでは、論文のタイトルおよび抄録のテキストデータを用いて、システマティックレビューの対象となる文献か否か(2値)を判定するアルゴリズムの作成にチャレンジして頂きます。

※コンペティションで使用するデータセットは、「診断精度研究」と呼ばれる学術分野において、当該分野の複数の研究者の方によって実施されたレビュー結果を元に作成しております。
※データセットには、診断精度研究「以外」も含めた網羅的な文献データが含まれており、その中から診断精度研究に該当する文献(システマティックレビューの対象となる文献)を判定して頂くタスクとなります。
※ラベル判定時は『情報不足により正しい判定を行うためには追加情報を要する』と判断された論文はjudgement=1に振り分けるという基準を設けています。そのため、judgement=1の論文の中には実際には診断精度研究に該当しない論文が含まれている可能性がございます。
※その他、データ形式などの詳細については、「データ」ページをご参照下さい。



データに関する注意事項

・各論文データには、「文字化け」や「欠損値」が含まれる場合がございます。
・「タイトルは異なるが、実際には同一の論文である」といった論文のペアが含まれる可能性があります。本コンペティションでは、これらを別の論文であるとして評価を実施することとします。


コンペティションの成果利用について(オープンソース化)

・本コンペティションの成果物(入賞モデルのソースコード等)は、コンペティション終了後にGitHub等のオープンプラットフォームにて一般公開を行う予定です。システマティック・レビューを実施している研究者の方に広く利用して頂くことで、研究者の方々の労力の軽減、ひいては医学研究を推進し、患者さんの利益還元に資することを目指します。
・成果物の一般公開先については、詳細が決定しだい、本ページおよびメーリングリストにて参加者の方にご案内差し上げます。
・また、本コンペティションの成果物を利用した論文執筆が行われる際には、共著者として入賞者の方のお名前を掲載させて頂く場合がございます。(共著者として加えさせて頂く際には事務局より個別に当該参加者の方にご連絡を差し上げます。勿論、ご都合が悪い場合は辞退頂くことも可能です。)


表彰式について

本コンペティションの表彰式を下記日時にオンラインで開催する予定です。入賞者から直接解法の説明を聞ける貴重な機会となりますので、ご参加中の皆様は是非ご予定頂けますと幸いです。

・日時: 2021年11月14日(日)13-14時(※終了時間は前後する場合がございます)
・内容: 主催・協賛企業からのご挨拶、入賞者プレゼンテーション、質疑応答など
・開催方法: オンライン開催(Zoomによる開催を予定しております)
 ※その他、参加方法の詳細等が決まり次第、本ページおよびメルマガにて改めてお知らせ致します。

評価関数
・評価スコアは、FBetaScoreにより算出します。
・Beta (β)の値は7とし、RecallとPrecisionの内、Recallをより重視した評価を行います。


最終順位の決定

1.コンペ最終日までの評価(暫定評価)は評価用データセットの一部で評価し、コンペ終了後の評価(最終評価)は評価用データセットの残りの部分で評価します。
 リーダーボードはコンテスト終了時に自動的に最終評価に切り替わり、それを元に最終順位を決定します。このため、開催中と終了後では順位が大きく変動する場合もあります。

2.スコアが同値の場合は、早い日時でご応募いただいた参加者を上位とします。

3.最終順位が上位の方を入賞候補者とし、事務局から連絡いたします。

4.入賞候補者には以下を提出していただきます。
 ・モデルのソースコード
 ・学習済モデル
 ・ソースコードの説明書(前処理部分、学習部分、推論部分が分かるように明記。提供データ以外のデータや、学習済モデルを利用した場合は、そのソース(データの所在、論文のリンク等)も明記)
 ・実行環境(OSのバージョン、使用ソフトウェア及び解析手法)
 ・データの解釈、工夫点、モデリングから得られる示唆等

5.再現性検証期間中、入賞候補者及び、その提出モデルが下記いずれかに該当する場合は入賞の資格を失います。
 ・事務局からの手続き上の連絡・要求に対して指定された期限内に対応しない
 ・参加条件やルールを満たしていない
 ・プログラムが動作しない
 ・学習済モデルから出力されるスコアと最終評価スコアが一致しない
 ・その他、事務局が不当と判断した場合

6.再現性を確認できた方から入賞者を選定します。

心構え

・企業課題の達成、社会問題の解決、研究成果の共有等、大前提となる目的に合わせ、実用性を意識したアプローチで臨んでください。
・特に運用性・拡張性を鑑みた実装を期待します。すなわち、提供データのみを利用し、機械的・自動的な処理に基づく学習・推論を前提とし、人間の判断に依存しない処理フローを期待します。

システムの利用

・1日の投稿回数の上限は5回です。
・1参加者につき1アカウントが必要です。1人で複数アカウントを利用、1アカウントを複数人で共有することは禁止します。
・チームでの参加を希望する場合は、こちらを必ずご一読の上、「チーム作成」ボタンからチームを作成ください。(作成期限:2021/9/4、チームリーダー含めて最大5人)。

情報の取り扱い

・本コンペティション期間中、学習済みモデルや分析結果(ソースコード、戦略等)は本コンペティションのフォーラム上にて共有可能です。
・本コンペティション終了後の情報公開可否については、「情報公開ポリシー」ページをご参照下さい。

データの利用
・学習データのラベルの修正は可能です。ただし、修正の再現が可能なように、ラベルの変更箇所(修正したID)をソースコード以外の文書に明記してください(入賞時に、ソースコードと合わせてご提出いただく必要がございます)。
・外部から取得した情報(論文の「著者名」「掲載誌」等を含む)を新たな特徴量として加え、予測の手がかりとすることは禁止とします。
・人の判断による予測結果を提出することは禁止とします。
・評価用データをモデルの学習時に用いることは禁止とします。
・外部のデータ(BERT等の学習済みモデルを含む)及びツールの利用は、以下a〜eの条件を全て満たす場合のみ許可します。

        a. ソースが明確である
        b. 誰でも利用することができる
        c. 無償で利用することができる
        d. オープンソースとして再配布することができる
        e. この他のルールに抵触しない

実装方法

・モデルの学習に利用するツールは、オープン且つ無料なもの(python, R 等)に限定します。
・同じフォーマットで、異なるデータを入力した場合にも、同様のロジックで予測できなければなりません。
・ソースコードは、以下のように、前処理、学習、予測、の3つに分け、それぞれを実行すれば処理が進むように実装すること。
 ①Preprocessing
  提供データを読み込み、データに前処理を施し、モデルに入力が可能な状態でファイル出力するモジュール。get_train_dataやget_test_dataのように、学習用と評価用を分けて、前処理を行う関数を定義してください。
  ※preprocessに渡す情報として、学習用データと評価用データを混在させることは可能ですが、get_train_dataで返す結果は前処理された学習用データ、get_test_dataで返す結果は前処理された評価用データとなるように、処理の内容を独立させて下さい。
 ②Learning
  ①で作成したファイルを読み込み、モデルを学習するモジュール。学習済みモデルや特徴量、クロスバリデーションの評価結果を出力する関数も定義してください。
 ③Predicting
  ①で作成したテストデータ及び②で作成したモデルを読み込み、予測結果をファイルとして出力するモジュール。

Disclosure policy

As a general rule, in accordance with Article 4, Paragraph 1 of the terms of participation, diclosing any contents such as insights and deliverables transmitted through the information or data provided by our company in relation to this competition is not permitted, however, only after the completion of this competition and for non-commercial purposes, it will be possible to disclose the contents within the score of the table below
Model *1
Public
Analysis results *2
Public
Public : Posting to social media sites, blogs and source repositories, and citing to papers
Restricted : Using in a limited range from research, education to seminars, where many unspecified people cannot access
*1 Execution unit source code and learned models
*2 The insights obtained using the information and data provided, or the solutions including scripts and processed data such as summary statistics

※Notes

・本コンペティションのデータセットを利用してご自身で開発されたアルゴリズム、アイデア及びその他本コンペティションに関連して作成した資料等(以下、「コンペ関連成果物」と呼びます)は、コンペ終了後に一般公開(フォーラム以外で公開)いただくことが可能です
・コンペ関連成果物を一般公開される際には、本コンペティションに関連して作成したものであることを明記していただきますようお願いいたします。また必須ではありませんが、参加者が閲覧しやすいように、一般公開されたリンク等をフォーラムに記載いただけますと幸いです。
・なお、コンペ期間中のコンペ関連成果物の公開は、本コンペのフォーラム上でのみ可としておりますのでご留意下さい。

Terms of Participation in SIGNATE Competition

In order to participate in the Competition, you are required to agree to these Terms, in addition to the Terms of Use of SIGNATE.JP Site (hereinafter referred to as the “Terms of Use”). You should participate in the Competition after reading carefully and agreeing to these Terms. These Terms, the matters that are displayed as “additional matters” that you have agreed to when participating in a Competition, the Terms of Use and other terms and conditions that you have agreed to (hereinafter collectively referred to as “these Terms, etc.”) shall all be binding on the Participant.


Article 1. Definitions

1.For the purpose of these Terms, the following terms shall be defined as follows:

(1)"Site" means the website "SIGNATE (https://signate.jp)” on which the Competitions are posted.
(2)"Competition" means any competition on AI development or data analysis on the Site as held by the Host.
(3)"Host" is the host(s) of the Competitions. The Host may be SIGNATE, Inc. (hereinafter referred to as the “Company”) or the Company’s client companies, affiliated companies, schools or organizations, etc. (hereinafter referred to as the “Client(s)”).
(4)"Participant(s)" means the member(s) who participate in a Competition.
(5)"Submissions" means, collectively, the analysis and prediction results and reports, etc. as submitted in the Competition.
(6)"Final Submissions" means the Submissions that are specified by a Participant on the prescribed page in the Site by the time of completion of a Competition.
(7)"Winner Candidate" means the Participant who has received a notice from the Company that he/she is nominated as a winner candidate.
(8)"Submissions for Final Judgment" means the analysis and prediction model and learning data, etc. as submitted by a Winner Candidate pursuant to the instructions of the Company.
(9)"Final Judgment" means the acceptance inspection and judgment, including reproducibility verification, by the Company for the Final Submissions and Submissions for Final Judgment of a Winner Candidate.
(10)"Winner" means the Winner Candidate who is informed by the Company that he/she has won a prize.

Article 2 Competition

1.A member who desires to participate in a Competition shall be required to agree to these Terms and to satisfy the conditions for participation as specified in each such Competition. Any person who is not a member shall not participate in any Competition.
2.Participants shall participate in each Competition in the manner as advised by the Company and shall be obligated to comply with the rules as prescribed in each Competition.
3.Participants may submit the Submissions for the assignment of each Competition during the period of such Competition and submit a proposal on the method of solving the problem to the Host by the end of the period of the said Competition.
4.Participants may submit the Final Submissions in the form specified in each Competition by the time specified by the said Competition.
5.The Final Submissions as submitted shall be evaluated by the evaluation method as specified in each Competition and the final rank order shall be determined based on such evaluation.
6.Any Participant may, as a general rule, check the evaluation results of the Participant him/herself and each of the other Participants on the Site for the Submissions that may be evaluated quantitatively.
7.Participants shall be liable or otherwise responsible for their own Submissions, including their legality.
8.Participants shall not submit any Submissions that have no direct relationship to each Competition.
9.Unless otherwise provided for, Participants shall not directly communicate to, consult with, make a request to, solicit or take any other actions with the Host in respect of the matters related to a Competition during the period of the said Competition.
10.Any Participant who has uncertainty or questions about any Competition shall make sure to contact the Company or its designee through the procedures prescribed by the Company as posted on the Site.
11.The Company shall not be obligated to pay any remuneration or other consideration other than those prescribed in the following Article for any act of the Participants as prescribed in paragraphs hereof.

Article 3 Reward and Vesting of Rights

1.Unless otherwise provided for, any Participant shall satisfy the following requirements in order to be entitled to receive a reward in any Competition that offers a reward:

(1)To be a winner;
(2)To agree to transfer to the Host and the relevant transferee of rights in such Competition all transferable rights, such as copyrights, rights to obtain patents and know-how, etc. in and to all analysis and prediction results, reports, analysis and prediction model, algorithm, source code and documentations for the model reproducibility, etc., and the Submissions contained in the Final Submissions and Submissions for Final Judgment (including the rights as prescribed in Article 27 and Article 28 of the Copyright Act and the rights to obtain patents; hereinafter referred to as the "Rights");
(3)To agree that any relevant transferee of rights exclusively has the right to use the know-how contained in the Final Submissions and Submissions for Final Judgment for its own business and other purpose without any restriction;
(4)To agree not to exercise moral rights to the Rights against the relevant transferee of rights;
(5)To enter into an agreement for the transfer of the Rights with the relevant eligible transferee of rights, including the agreement to the matter in the preceding three (3) items and other reasonable provisions;
(6)To have the personal identity of such Participant verified by the Company.
(7)Not to breach any provision of these Terms and the Terms of Use.

2.Any Winner Candidate shall, after having received a notice from the Company that he/she is nominated as a winner candidate, submit the Submissions for Final Judgment on or before the designated date and communicate the matters requiring confirmation or response in relation to the Final Submissions and the Submissions for Final Judgment to the Company on or before the designated date, in accordance with the instructions of the Company. The Company shall carry out the final judgment based on such matters requiring confirmation or response. If the Company receives no confirmation or response satisfactory to the Company on or before the designated date, the Company may exclude such Winner Candidate from the subject of the final judgment and the Winner Candidate shall not raise any objection thereto.
3.If the Company considers that the Final Submissions or Submissions for Final Judgment need to be amended or modified, or there occur any additional matters requiring confirmation, in the course of the final judgment, any Winner Candidate shall take action or make response in relation to the matters that require amendment, etc. or the detailed information on the matters requiring confirmation, on or before the designated date in accordance with the instructions of the Company. If the Company receives no action or response satisfactory to the Company on or before the designated date, the Company may exclude such Winner Candidate from the final judgment and the Winner Candidate shall not raise any objection thereto.
4.The Company shall determine the Winner through the final judgment and inform the Winner to that effect.

Article 4 Confidentiality

1.Participants shall treat any information, data, or such contents as insights and deliverables transmitted through the service where they receive from the Company in relation to each Competition (hereinafter referred to as the "Company-Provided Information") as confidential information and shall not disclose the same to any third party and use the same for any purpose other than for such Competition and purpose specified by the Company separately; provided, however, that the confidential information shall not include any information that falls under any of the following items:

(1)Information that is known to the public at the time of the disclosure;
(2)Information that is already possessed by the Participant at the time of the disclosure (only in the case where such Participant may demonstrate such fact by reasonable means);
(3)Information that becomes known to the public without the fault of the Participant after the disclosure;
(4)Information that is independently developed by the Participant without reference to any information as disclosed (except for those Submissions of the person eligible for a prize which are evaluated); or
(5)Information that is rightfully disclosed by any third party having a right to do so without the obligations of confidentiality (only in the case where such Participant may demonstrate such fact by reasonable means).

2.Any Winner shall handle his/her Final Submissions and Submissions for Final Judgment in the same manner as prescribed in paragraph 1 hereof.
3.Any Participant may publish any algorithms that they have developed as well as any other materials they have created in connection with their participation in a Competition (including Final Submissions and Submissions for Final Judgment) after that Competition in accordance with the Competition Information Disclosure Policy (hereinafter, "Information Disclosure Policy") posted on the Site. However, Participants shall observe the following matters when publishing information and may not publish any materials prohibited by the Information Disclosure Policy:

(1)Clarify that the materials were created in connection with participation in the Competition;
(2)Give credit in accordance with the notation method prescribed in the Information Disclosure Policy when the materials to be published contain part of a dataset; and
(3)Clarify the location accessible to all Participants (including but not limited to the Competition forum and other locations designated by the Company) where the materials are published (including links, etc.) if publishing materials outside the Competition forum.

4.Any Participant shall delete or return to the Company the Company-Provided Information (excluding the information prescribed in paragraph 3) immediately after the completion of a Competition.
5.If there is any separate arrangement in relation to the confidential information in each Competition, the provisions of such arrangement shall prevail over the provisions of these Terms.
6.If any dispute occurs between the Host or other third party and the Company due to the breach by any Participant of the provisions of this Article and such other party makes any claim against the Company, such Participant shall compensate for any damage, loss, expenses (including, but not limited to, attorneys’ fees), lost profits and lost revenues, etc. incurred by the Company.
7.The provisions of this Article shall survive the termination of the relevant Competition or the Participant’s completion of the procedures for withdrawal from the service of the Company, with respect to the Company-Provided Information and the Winner’s Final Submissions and Submissions for Final Judgment for a period of five (5) years thereafter.

Article 5 Prohibited Acts of Participants

1.The Company shall prohibit Participants from engaging in any of the following acts in any Competition:

(1)An act of cracking, cheating, spoofing other misconduct;
(2)An act of redistributing data files included in the dataset;
(3)An act of directly communicating to, consulting with, making a request to, soliciting or responding to solicitation or other activities to other Participants or the Host (other than the Company) without the involvement of the Company;
(4)Any profitmaking activities using the Competition (including solicitation or scouting activities, and use for a third party in educational business, etc.) without the prior approval of the Company in writing or any other manner specified by the Company;
(5)Transfer, offering as collateral or other disposition of the status as a Participant or the rights or obligations as a Participant (except with the prior written consent of the Company); and
(6)Acts that infringe upon the intellectual property rights or any other rights of third parties; and
(7)Any other act in breach of the Terms of Use.

2.If the Company deems that a Participant engages in any of the prohibited acts as prescribed in the preceding paragraph, the Company may, without prior notice to the Participant, disqualify the Participant from the Competition in which the Participant participates, temporarily suspend the Participant from using the service of the Company, withdraw the Participant’s membership, claim damages from the Participant or take any other measures deemed necessary by the Company.

Article 6 Modification of Terms

1.The Company may modify, add or delete any provisions of these Terms from time to time without the approval of the members.

July 28, 2021