お知らせ(2021.11.22): 入賞者の解法ソースコード公開
本コンペティションで入賞を果たした上位3名分のソースコードを、下記のGitHubページにて公開しました。
https://github.com/signatelab/paper-classification-challenge-winners-solutions
お知らせ(2021.08.16): ラベル判定結果の誤りについて
一部のデータにおいて、ラベル判定結果に関する誤りが発見されました。詳細はこちらのディスカッションページをご確認ください。なお、本件に関して配布データセットに修正を加える予定はございません。
またこれに伴い、学習データのラベル修正に関するルールを変更致しましたので、ルールページ「データの利用」欄も合わせてご確認ください。
お知らせ(2021.08.06): 表彰式の開催予定について
本コンペティションの表彰式を下記日時にて開催致しますので、ご参加中の皆様は是非ご予定頂けますと幸いです。
開催日時: 2021年11月14日(日)13:00-14:00(※終了時間は前後する場合がございます)
お知らせ(2021.08.03): ルールの一部変更のお知らせ
本日、コンペティション期間中の「情報の取り扱い」に関するルールの一部を変更致しました。変更内容に関してはこちら(フォーラムページ)をご参照下さい。
背景・目的
近年、世界ではエビデンスに基づく医療(Evidence-Based Medicine; EBM)の実施が求められており、その根拠となる学術論文のシステマティック・レビュー(Systematic Review; SR)の重要性が高まっています。
システマティック・レビューとは、ライフサイエンス、特に医学分野において浸透している研究方法で、特定の研究テーマに対する文献をくまなく調査し、各研究データのバイアスを評価しながら、体系的に同質の研究データを収集・解析する研究手法のことを指します。
通常、システマティックレビューは以下のようなプロセスに沿って進められます。初期のステップとしては、網羅的かつ系統的に論文を検索・収集し、その中から対象の研究テーマに該当する論文を「選別」する作業が必要となります。また、様々な医学論文のデータベースを横断的に検索する上では、各データベースの特徴や機能を理解したうえで検索式を設定したり、あるいは既存の検索フィルタで選別が不十分な場合は人手による取捨選択を行うなど、多くの時間と労力が必要とされます。
▼一般的なSRの作業フロー
(1)研究テーマの決定
(2)関連論文の検索、収集、選別
(3)研究データの抽出、妥当性の評価
(4)データの要約
(5)(可能であれば)メタアナリシスによる統計学的解析
(6)結果の解釈、結論
そこで本コンペティションでは、システマティックレビューの効率化・省力化を目指し、網羅的に収集された論文の中から目的の論文を「選別」するための機械学習アルゴリズムの構築にチャレンジして頂きます。
タスク説明
本コンペティションでは、論文のタイトルおよび抄録のテキストデータを用いて、システマティックレビューの対象となる文献か否か(2値)を判定するアルゴリズムの作成にチャレンジして頂きます。
※コンペティションで使用するデータセットは、「診断精度研究」と呼ばれる学術分野において、当該分野の複数の研究者の方によって実施されたレビュー結果を元に作成しております。
※データセットには、診断精度研究「以外」も含めた網羅的な文献データが含まれており、その中から診断精度研究に該当する文献(システマティックレビューの対象となる文献)を判定して頂くタスクとなります。
※ラベル判定時は『情報不足により正しい判定を行うためには追加情報を要する』と判断された論文はjudgement=1に振り分けるという基準を設けています。そのため、judgement=1の論文の中には実際には診断精度研究に該当しない論文が含まれている可能性がございます。
※その他、データ形式などの詳細については、「データ」ページをご参照下さい。
データに関する注意事項
・各論文データには、「文字化け」や「欠損値」が含まれる場合がございます。
・「タイトルは異なるが、実際には同一の論文である」といった論文のペアが含まれる可能性があります。本コンペティションでは、これらを別の論文であるとして評価を実施することとします。
コンペティションの成果利用について(オープンソース化)
・本コンペティションの成果物(入賞モデルのソースコード等)は、コンペティション終了後にGitHub等のオープンプラットフォームにて一般公開を行う予定です。システマティック・レビューを実施している研究者の方に広く利用して頂くことで、研究者の方々の労力の軽減、ひいては医学研究を推進し、患者さんの利益還元に資することを目指します。
・成果物の一般公開先については、詳細が決定しだい、本ページおよびメーリングリストにて参加者の方にご案内差し上げます。
・また、本コンペティションの成果物を利用した論文執筆が行われる際には、共著者として入賞者の方のお名前を掲載させて頂く場合がございます。(共著者として加えさせて頂く際には事務局より個別に当該参加者の方にご連絡を差し上げます。勿論、ご都合が悪い場合は辞退頂くことも可能です。)
表彰式について
本コンペティションの表彰式を下記日時にオンラインで開催する予定です。入賞者から直接解法の説明を聞ける貴重な機会となりますので、ご参加中の皆様は是非ご予定頂けますと幸いです。
・日時: 2021年11月14日(日)13-14時(※終了時間は前後する場合がございます)
・内容: 主催・協賛企業からのご挨拶、入賞者プレゼンテーション、質疑応答など
・開催方法: オンライン開催(Zoomによる開催を予定しております)
※その他、参加方法の詳細等が決まり次第、本ページおよびメルマガにて改めてお知らせ致します。