データの追加公開に関するお知らせ(2021.01.12, 15:00)

画像の時系列情報(画像の並び順の情報)を追加公開致しました。次の3ファイルの内容が変更となりますので、大変お手数ですが、既にデータをダウンロード済みの方も、ダウンロードページより再取得をお願い致します。
<変更対象>
・学習用画像データのアノテーション (train_annotations.zip)
・評価用画像データのアノテーション (test_annotations.zip)
・フォーマットの説明 (readme.txt)

ルールページの「データの利用」に関しても追加事項がございますのでご確認をお願い致します。


本コンペティションにおける実装の注意点

本コンペティションの入賞モデルは、将来的にエッジデバイスNVIDIA / JETSON AGX XAVIERに実装し実験を行う予定です。エッジデバイスでの運用を想定して学習済みモデルのファイルサイズの総計が「2GB以内」になるように実装を行って下さい。
※その他のルールの詳細は「ルール」ページをご参照下さい。



背景・目的

近年、水産分野では漁業の生産性向上や漁獲物の高付加価値化を目的に、ICTを活用した様々な取り組みが始まっています。特に、日本国内の漁業就業者が減少して行く中で、操業の効率化や省力化、あるいは外国漁船と競合する漁場における競争力確保が課題となっており、これらを解決するための手段としてIoTやAIといった先端技術の応用にも注目が集まっています。

このような背景のもと、今回テーマとして取り上げるのは、海外まき網漁業(カツオやマグロ漁)における「魚群探索の効率化」です。海外まき網漁業は、鰹節の原料を年間20万トン(原料の7割)供給する重要な漁業です。


その工程では、まず目視や鳥レーダー等を使用して魚群を探索し、発見した魚群を囲むように投網・揚網が行われます。最初の工程となる魚群探索では、非常に多くの時間と労力がかかるため、海外では4000トンクラスの大型漁船に有人ヘリコプターを搭載し、魚群を効率的に探索するような操業が行われていますが、日本漁船の多くは500~1000トン程度であり、ヘリコプターを搭載するスペースがないため、現在も乗組員による目視の魚群探索が主体となっています。

そこで水産研究・教育機構では、船体サイズが制限される日本船でも効率的に魚群を探索できるように、「無人航空機(ドローン)」による魚群探索技術の開発に取り組んでいます。今回のコンペティションでは、その無人航空機の空撮画像を利用し、魚群を自動検知するAIアルゴリズムの作成にチャレンジしていただきます。我々の食生活にも直結する重要産業に技術で貢献できる希少な機会ですので、皆様からの多数のご応募をお待ちしております。




タスク説明

ドローンから海面を空撮した画像に対して、魚群の矩形領域を bounding box = (x1, y1, x2, y2) として割り当て、かつ魚群の種別を表すラベル("Jumper School"または"Breezer School")を1つ付与していただきます。
bounding boxは、画像の左上を原点 (0, 0)とし、予測領域の左上の座標 (x1, y1)、右下の座標 (x2, y2) の4つを指定することで表現されます。



予測対象となる魚群のラベルは、
・Jumper School(「白湧き群」魚が海面上へ跳ねることで生じる飛沫が白く見える状態)
・Breezer School(「水持ち群」海面直下にいる魚の動きが風波を打ち消してできる海面の凪)
の2種類です。
Jumper SchoolとBreezer Schoolは完全に別々のものではなく、同じ魚群の見え方が状態によって相互に変化するものです(※参考動画をご参照下さい)。
また、画像には魚群以外のラベルとして、Dolphin(イルカ群)、Bird(鳥群)、Object(漂流物)、Cloud(雲影)、Ripple(さざ波)、Smooth Surface(油凪)、Wake(航跡)が含まれる場合がございますが、これらのラベルは予測の対象外とします。

参考動画
画面中央付近にある魚群は、周辺の水面に比べて濃い色で見えているのが「水持ち群(Breezer School)」であり、その一部の白くなっている部分が「白湧き群(Jumper School)」です。この動画の前半でJumper Schoolだった部分は徐々にBreezer Schoolに遷移しています。このようにJumper SchoolとBreezer Schoolは完全に別個のものではなく同じ魚群の状態の変化であり、相互に変化し得るものです。


画像に含まれるラベル

ラベル名説明
Jumper School魚群1(白湧き群):
魚が海面上へ跳ねることで生じる飛沫が白く見える状態
Breezer School 魚群2(水持ち群):
海面直下にいる魚の動きが風波を打ち消してできる海面の凪

Dolphin イルカ群(予測対象外)
Bird 鳥群(予測対象外)
Object 漂流物(予測対象外)
Cloud 雲影(予測対象外)
Ripple さざ波(予測対象外)
Smooth Surface 油凪(予測対象外)
Wake 航跡(予測対象外)

画像の形式

画像はドローンの空撮動画から1秒単位でフレームを切り取り生成したものを使用します。
画像数、および画素数は以下の通りです。

・画像数  :(学習用)3387枚、(評価用)1481枚
・画素数  :(縦)2160 pixel (横)3840 pixel
・チャンネル:  RGB

※その他、データ詳細は「データ」タブをご参照ください。


評価関数
・評価関数「MAP@IoU=0.3」を使用します。
・評価値は0~1の値をとり、精度が高いほど大きな値となります。

評価関数の詳細
 ①ある画像に対して、予測領域と正解領域(矩形)の重なり(IoU)が0.3を超えた場合、領域が検出できたと判定
 ②ある画像の領域が検出できたオブジェクトに対して、予測対象カテゴリ毎に「average precision(AP)」を計算
 ③ある画像の全予測対象カテゴリの②の平均「mean average precision(MAP)」を計算
 ④評価対象の全画像の③の平均を計算 



最終順位の決定
1. コンペ最終日までの評価(暫定評価)は評価用データセットの一部で評価し、コンペ終了後の評価(最終評価)は評価用データセットの残りの部分で評価します(※リーダーボードはコンペ終了時に自動的に最終評価に切り替わり、それを元に最終順位を決定します。このため、開催中と終了後では順位が大きく変動する場合もあります。)。

2. 評価指標が、タイ(同値)の場合は、早い日時でご応募いただいた参加者を上位とします。

3. 入賞候補者の方には順位確定の際に下記の情報を提出していただきます。
・予測モデルのソースコード
・学習済モデル
・予測結果の再現の為の手順書(前処理部分、学習部分、予測部分が分かるよう明記)
・実行環境(OSのバージョン、使用ソフトウェア及び解析手法) 
・乱数シード(Random Forest等の乱数を利用した手法の場合)
・各説明変数の予測モデルへの寄与度(寄与度の算出が可能な手法を用いた場合)
・データの解釈、工夫点、モデリングから得られる示唆等

4. 再現性検証期間中、入賞候補者及び、その提出モデルが下記いずれかに該当する場合は懸賞の獲得資格を失います。
・事務局からの手続き上の連絡・要求に対して指定された期限内に対応しない
・参加条件やルールを満たしていない
・学習済みモデルから出力されるスコアと最終評価スコアが一致しない 
・新しい画像に対して予測できない
・アカウントのSMS認証が完了していない場合
・その他、事務局が不当と判断した場合

情報の取り扱い
・本コンペティションのフォーラム以外の場所で、他の参加者と本コンペの予測に関連するデータ・ソースコードを共有する行為は禁止とします。
・ただし、チームで参加している場合は、メンバー内でのデータ・ソースコードの共有は可能です。

データの利用
・オープンソース(ソースが明確で誰でもアクセスでき、商用でない)、かつ無償で再現性が検証可能なものであれば、提供データ以外のデータ(学習済みモデルを含む)も利用可能とします。
・提供データ以外のデータ(学習済みモデルを含む)を使用する際は、ソース(論文のリンク等)を明記して下さい。
・学習データの修正は可能です。ただし修正を行う場合は、再現性を担保するため、ラベル変更箇所(対象データ、座標)と変更手順を、ソースコード以外の文書に明記して下さい。(入賞時、ソースコードと合わせてご提出頂く必要がございます)
・異なるシーケンス間で情報を共有して予測を行うことは禁止とします。ただし、同じシーケンス内であれば異なるフレーム間の情報の共有は可能です。


実装方法
・本コンペティションの入賞モデルは、将来的にエッジデバイス(NVIDIA / JETSON AGX XAVIER)に実装し実験を行う予定です。エッジデバイスでの運用を想定して、学習済みモデルのファイルサイズの総計が「2GB以内になるように実装して下さい。
・モデルの学習に利用するツールは、オープン且つ無料なもの(Python, R 等)に限定します。
・同じフォーマットで、異なるデータを入力した場合にも、同様のロジックで予測できなければなりません。
・追加費用を伴わない(有償の外部API等を使用しない)環境下で提案した手法が再現でき、かつ継続使用が可能な実装をお願いします。※GPUの使用を前提とした実装は可能です。
・ソースコードは、以下のように、前処理、学習、予測、の3つに分け、それぞれを実行すれば処理が進むように実装して下さい。

①preprocess
 提供データを読み込み、データに前処理を施し、モデルに入力が可能な状態でファイル出力するモジュール。
 get_train_dataやget_test_dataのように、学習用と評価用を分けて前処理を行う関数を定義。
②train
 ①で作成したファイルを読み込み、モデルを学習するモジュール。
 学習済みモデルや特徴量、クロスバリデーションの評価結果を出力する関数等を定義。
③predict
 ①で作成したテストデータ及び②で作成したモデルを読み込み、予測結果をファイルとして出力するモジュール。

システムの利用
・個人で参加する場合、利用アカウントは1人につき1つまでとします。
・チームで参加する場合、チームリーダーを含めて最大5人のチームが作成可能です。
・チームを作成する場合は、ページ右上の「チーム作成」ボタンより、チームリーダーとなる方がお申し込み下さい。

※チーム参加に関する注意事項
・本コンペでチームを作成される場合は、2021年1月31日(日)23:59までにお申し込み下さい。
・チームリーダー(チーム参加の申込者)がSIGNATEから退会すると、チームは解散として扱われます。チームを解散すると、それまでメンバーとして参加していたユーザーは、チームとしても個人としても、当該コンペに投稿できなくなりますのでご注意下さい。

・その他、チーム機能の詳細はこちらをご参考下さい(https://signate.jp/features/team

主催(敬称略):

国立研究開発法人 水産研究・教育機構


協賛(敬称略):

古野電気株式会社、株式会社コントレイルズ、スマートシティ企画株式会社、デロイト トーマツ コンサルティング合同会社、一般社団法人 海外まき網漁業協会、日本かつお・まぐろ漁業協同組合、大慶漁業株式会社


  

  

  

Disclosure policy

As a general rule, in accordance with Article 4, Paragraph 1 of the terms of participation, diclosing any contents such as insights and deliverables transmitted through the information or data provided by our company in relation to this competition is not permitted, however, only after the completion of this competition and for non-commercial purposes, it will be possible to disclose the contents within the score of the table below
Model *1
Private
Analysis results *2
Restricted
Public : Posting to social media sites, blogs and source repositories, and citing to papers
Restricted : Using in a limited range from research, education to seminars, where many unspecified people cannot access
*1 Execution unit source code and learned models
*2 The insights obtained using the information and data provided, or the solutions including scripts and processed data such as summary statistics

※Notes

「分析結果」の公開内容は、解法・手法の解説のみに限定し、ソースコードは公開不可とします。

In order to participate in the Competitions, you are required to agree to these Terms, in addition to the Terms of Use of SIGNATE.JP Site (hereinafter referred to as the "Terms of Use"). You should participate in the Competition after reading carefully and agreeing to these Terms. If you agree, these Terms, the matters that are added to these Terms as "additional matters", the Terms of Use and other terms and conditions that you have agreed to shall be binding on the relevant parties as integral documents.


Article 1. Definitions

1.For the purpose of these Terms, the following terms shall be defined as follows:

(1)"Site" means the website "SIGNATE (https://signate.jp)" on which the Competitions are posted.
(2)"Competition" means any competition on AI development or data analysis on the Site as held by the Host.
(3)"Host" is the host(s) of the Competitions. The Host may be SIGNATE, Inc. (hereinafter referred to as the "Company") or the Company’s client companies, affiliated companies, schools or organizations, etc. (hereinafter referred to as the "Client(s)").
(4)"Participant(s)" means the member(s) who participate in a Competition.
(5)"Submissions" means, collectively, the analysis and prediction results and reports, etc. as submitted in the Competition.
(6)"Final Submissions" means the Submissions that are specified by a Participant on the prescribed page in the Site by the time of completion of a Competition.
(7)"Winner Candidate" means the Participant who has received a notice from the Company that he/she is nominated as a winner candidate.
(8)"Submissions for Final Judgment" means the analysis and prediction model and learning data, etc. as submitted by a Winner Candidate pursuant to the instructions of the Company.
(9)"Final Judgment" means the acceptance inspection and judgment, including reproducibility verification, by the Company for the Final Submissions and Submissions for Final Judgment of a Winner Candidate.
(10)"Winner" means the Winner Candidate who is informed by the Company that he/she has won a prize.
2.Unless otherwise defined in these Terms, the terms used in these Terms that are defined in the Terms of Use shall have the same meaning as defined in the Terms of Use.

Article 2. Competition

1.A member who desires to participate in a Competition shall be required to agree to these Terms and to satisfy the conditions for participation as specified in each such Competition. Any person who is not a member shall not participate in any Competition.
2.Participants shall participate in each Competition in the manner as advised by the Company and shall be obligated to comply with the rules as prescribed in each Competition.
3.Participants may submit the Submissions for the assignment of each Competition during the period of such Competition and submit a proposal on the method of solving the problem to the Host by the end of the period of the said Competition.
4.Participants may submit the Final Submissions in the form specified in each Competition by the time specified by the said Competition.
5.The Final Submissions as submitted shall be evaluated by the evaluation method as specified in each Competition and the final rank order shall be determined based on such evaluation.
6.Any Participant may, as a general rule, check the evaluation results of the Participant him/herself and each of the other Participants on the Site for the Submissions that may be evaluated quantitatively.
7.Participants shall be liable or otherwise responsible for their own Submissions, including their legality.
8.Participants shall not submit any Submissions that have no direct relationship to each Competition.
9.Unless otherwise provided for, Participants shall not directly communicate to, consult with, make a request to, solicit or take any other actions with the Host in respect of the matters related to a Competition during the period of the said Competition.
10.Any Participant who has uncertainty or questions about any Competition shall make sure to contact the Company or its designee through the procedures prescribed by the Company as posted on the Site.
11.The Company shall not be obligated to pay any remuneration or other consideration other than those prescribed in the following Article for any act of the Participants as prescribed in paragraphs hereof.

Article 3. Reward and Vesting of Rights

1.Unless otherwise provided for, any Participant shall satisfy the following requirements in order to be entitled to receive a reward in any Competition that offers a reward:

(1)To be a winner;
(2)To agree to transfer to the Host and the relevant transferee of rights in such Competition all transferable rights, such as copyrights, rights to obtain patents and know-how, etc. in and to all analysis and prediction results, reports, analysis and prediction model, algorithm, source code and documentations for the model reproducibility, etc., and the Submissions contained in the Final Submissions and Submissions for Final Judgment (including the rights as prescribed in Article 27 and Article 28 of the Copyright Act and the rights to obtain patents; hereinafter referred to as the "Rights");
(3)To agree that any relevant transferee of rights exclusively has the right to use the know-how contained in the Final Submissions and Submissions for Final Judgment for its own business and other purpose without any restriction;
(4)To agree not to exercise moral rights to the Rights against the relevant transferee of rights;
(5)To enter into an agreement for the transfer of the Rights with the relevant eligible transferee of rights, including the agreement to the matter in the preceding three (3) items and other reasonable provisions;
(6)To have the personal identity of such Participant verified by the Company.
(7)Not to breach any provision of these Terms and the Terms of Use.

2.Any Winner Candidate shall, after having received a notice from the Company that he/she is nominated as a winner candidate, submit the Submissions for Final Judgment on or before the designated date and communicate the matters requiring confirmation or response in relation to the Final Submissions and the Submissions for Final Judgment to the Company on or before the designated date, in accordance with the instructions of the Company. The Company shall carry out the final judgment based on such matters requiring confirmation or response. If the Company receives no confirmation or response satisfactory to the Company on or before the designated date, the Company may exclude such Winner Candidate from the subject of the final judgment.
3.If the Company considers that the Final Submissions or Submissions for Final Judgment need to be amended or modified, or there occur any additional matters requiring confirmation, in the course of the final judgment, any Winner Candidate shall take action or make response in relation to the matters that require amendment, etc. or the detailed information on the matters requiring confirmation, on or before the designated date in accordance with the instructions of the Company. If the Company receives no action or response satisfactory to the Company on or before the designated date, the Company may exclude such Winner Candidate from the final judgment.
4.The Company shall determine the Winner through the final judgment and inform the Winner to that effect.

Article 4. Confidentiality

1.Participants shall treat any information, data, or such contents as insights and deliverables transmitted through the service where they receive from the Company in relation to each Competition (hereinafter referred to as the "Company-Provided Information") as confidential information and shall not disclose the same to any third party and use the same for any purpose other than for such Competition and purpose specified by the Company separately; provided, however, that the confidential information shall not include any information that falls under any of the following items:

(1)Information that is known to the public at the time of the disclosure;
(2)Information that is already possessed by the Participant at the time of the disclosure (only in the case where such Participant may demonstrate such fact by reasonable means);
(3)Information that becomes known to the public without the fault of the Participant after the disclosure;
(4)Information that is independently developed by the Participant without reference to any information as disclosed (except for those Submissions of the person eligible for a prize which are evaluated); or
(5)Information that is rightfully disclosed by any third party having a right to do so without the obligations of confidentiality (only in the case where such Participant may demonstrate such fact by reasonable means).

2.Any Participant shall delete or return to the Company the Company-Provided Information immediately after the completion of each Competition.
3.Any Winner shall handle his/her Final Submissions and Submissions for Final Judgment in the same manner as prescribed in paragraph 1 hereof.
4.If there is any separate arrangement in relation to the confidential information in each Competition, the provisions of such arrangement shall prevail over the provisions of these Terms.
5.If any dispute occurs between the Host or other third party and the Company due to the breach by any Participant of the provisions of this Article and such other party makes any claim against the Company, such Participant shall compensate for any damage, loss, expenses (including, but not limited to, attorneys’ fees), lost profits and lost revenues, etc. incurred by the Company.
6.The provisions of this Article shall survive the termination of the relevant Competition or the Participant’s completion of the procedures for withdrawal from the service of the Company, with respect to the Company-Provided Information and the Winner’s Final Submissions and Submissions for Final Judgment for a period of five (5) years thereafter.

Article 5. Prohibited Acts of Participants

1.The Company shall prohibit Participants from engaging in any of the following acts in any Competition:

(1)An act of cracking, cheating, spoofing other misconduct;
(2)An act of directly communicating to, consulting with, making a request to, soliciting or responding to solicitation or other activities to other Participants or the Host (other than the Company) without the involvement of the Company;
(3)Any profitmaking activities using the Competition (including solicitation or scouting activities, and use for a third party in educational business, etc.) without the prior approval of the Company in writing or any other manner specified by the Company;
(4)Transfer, offering as collateral or other disposition of the status as a Participant or the rights or obligations as a Participant (except with the prior written consent of the Company); and
(5)Any other act in breach of the Terms of Use.

2.If the Company deems that a Participant engages in any of the prohibited acts as prescribed in the preceding paragraph, the Company may, without prior notice to the Participant, disqualify the Participant from the Competition in which the Participant participates, temporarily suspend the Participant from using the service of the Company, withdraw the Participant’s membership, claim damages from the Participant or take any other measures deemed necessary by the Company.

Article 6. Change, Discontinuation or Termination of Provision of Services under These Terms

1.The Company may change or temporarily suspend the services provided by the Company under these Terms without prior notice to the members.
2.Upon one (1) month prior notice to the members, the Company may suspend for a long period of time or terminate the services provided by the Company under these Terms.
3.The Company shall not be liable for any results or damage arising from the measures taken by the Company under this Article.

Article 7. Modification of Terms

1.The Company may modify, add or delete any provisions of these Terms from time to time without the approval of the members.

Enforced on April 1, 2018
Last updated on January 18, 2019