お知らせ

2021/02/02:ディスカッションにて、本コンペに関してのコンペ運営としての声明を記載しております。
2021/02/03:データセットに不備が認められた為、修正の為に一時的にデータのダウンロードを停止させていただきます。
      (02/08 13時に再公開を行いました

2021/02/04:本コンペティションの流れおよび、ルールやスケジュールの変更を行いました 
2021/02/08:学習済みモデル提出ページ、コンペステージ2ページを設置しました
       データセットの再公開、リーダーボードのリセットを行いました。
                         お手数ですが、既にデータをダウンロード済みの方もダウンロードページより再取得をお願い致します。           
          コンペ再開前(2月8日13時よりも前)に配布されたデータを利用(学習・予測)することは不可とします。 
2021/02/16:ステージ2のルールとして、「ステージ1と同一の前処理・推論方法を用いること」を追加いたしました。
2021/02/26:チュートリアルを公開しました。

2021/03/16:ファイルアップロードにてエラーが出る方についての対応をフォーラムに追記しております。
       アップロードにてエラーが出る方はこちらをご確認ください。 

2021/07/01:表彰式の動画をYouTube上で公開しました。また、入賞者解法資料も公開しました。

            


コンペティションは2部ステージ制となります。詳細については本ページ下部「本コンペティションの流れ」をご確認の上、ステージ1終了までに最終選択した投稿結果の学習済みモデルを下記学習済みモデル提出ページから投稿ください。


  


背景

 コンペティションの主催元であるひろしまサンドボックス推進協議会事務局(運営広島県)では、「作ってはならし、みんなが集まって創作を繰り返す、「砂場」のように何度も試行錯誤できる場」という考えを元に、様々な産業・地域課題の解決をテーマとして共創で試行錯誤できるオープンな実証実験の場「ひろしまサンドボックス」を構築しています。

 「ひろしまサンドボックス」では、 AIIoTを活用した実証プロジェクトを中心に、様々な取り組みをしています。そのうちの 1つが日本一の生産量を誇る広島のレモンに関する実証プロジェクトです。広島のレモンは国内需要の約6割を占め、広島県民にとってなじみの深い果実です。レモンサワーやハイボール、またサラダなどの料理に安心して使える国産レモンの需要は伸び続けている一方、生産者の高齢化や生産性の向上に伸び悩んでいることが現状です。

 広島県では、このレモン農家の抱える課題に対し、IoTによる栽培データの収集及び AI分析による「経験や勘」のデジタル化、ドローンや農業ロボットによる負担軽減といった実証事業に挑戦しております。


 その課題解決の1つとして、平成 313月に広島県呉市大崎下島で行われた「とびしまハッカソン」では、これまで、農家の方の経験や勘に頼っていたレモンの等級判別を AIで行うシステムのプロトタイプ開発が行われ、見事に優勝しました。ハッカソン終了後も有志で開発が続けられ、現地の島へ足しげく通い、農家の方の協力も得ながら約2, 500枚のレモンの撮影と画像のラベリング作業を行った結果、約70%までレモンの品質を判別できるようになりました。

 そこで、本コンペティションでは、引き続き、この課題の解決に向けて、上記の判定装置をさらに高精度のものとすべくレモン選果のための等級を予測するアルゴリズムを構築していただきます。皆様からの多数のご応募をお待ちしております。

 今回のデータについての詳細や広島のレモンが抱える問題の詳細についてはこちらより確認できます。


本コンペティションの流れについて

 本コンペティションでは2つのステージに分けて開催することに変更させていただきます。

<ステージ1>
 通常のコンペティションと同様にステージ1が終了するまでモデル作成に取り組んでいただき、評価用データAへの予測結果を投稿ください。本コンペティションではステージ1が終了するまでに、最終選択した投稿結果の学習済みモデルを投稿いただく必要があります。(3月以降に学習済みモデル提出ページから投稿できます)ステージ1終了後、ステージ2が公開されます。


・毎回学習済みモデルを投稿いただく必要はございませんが、モデルを複数回提出した場合は、最後に提出したモデルが最終選択した投稿結果の学習済みモデルと見なされます。
・ステージ1終了後は学習済みモデルが投稿できなくなりますので、ステージ1終了間近の際には十分ご注意ください。
コンペルールの明確化の為に、アンサンブル禁止ルールについては撤廃致しました(詳細はルール及びFAQをご覧ください。)
ステージ制への変更に伴い、ステージ1における擬似ラベリング禁止ルールについても撤廃致しました。
追加ルールとして、最終選択の学習済モデルは合計1GB以内(zip化前)の制限を満たすことを追加致しました
追加ルールとして、モデル圧縮等は禁止とすることを追加致しました(モデル圧縮技術に関する競争をレギュレーション外とさせていただきたい為)


<ステージ2>
 ステージ2で公開する評価用データBに対する予測精度により、本コンペにおける最終的な順位を決定いたします。ステージ1で最終的に選択いただいた学習済みモデルを用いて、評価用データBに対する予測結果を1度だけ投稿ください。ステージ2で公開する評価用データBは、ステージ1で配布した画像サイズと同じですが、ステージ1とは異なる個体、異なる撮影条件となります。

・ステージ1で最終提出した学習済モデルはステージ2では変更・改変してはいけません。
・ステージ1で最終提出した学習済モデルと最終提出物に含まれる学習済モデルが同一でなければ、失格となります。
・乱数の扱いには十分に注意いただき、事前に学習済モデル及び予測結果の同一性を確認いただく等のご対応をお願いいたします。
・ステージ2のリーダーボードはコンペ実施中にダミースコア”0”が表示され、コンペ終了時に自動的に最終評価に切り替わります。
・ステージ2ではステージ1と同一の前処理・推論方法を用いてください。




 


課題

以下の画像データから、レモンの等級を分類していただきます。
等級は、0:優良、1:良、2:加工品、3:規格外の4種です。
【特記事項】
今回のコンペでは入賞者のモデルやノウハウをRaspberryPiなどの小型IoT端末上に実装することを想定しておりますので、
推論の際に用いる
TTA(test time augmentation)を禁止とします。
※特記事項について、カミングスーン期間で出たユーザ様のご質問に対するFAQも追加していますのでご参照ください。
※その他のルールの詳細は「ルール」ページをご参照下さい。


コンペティション詳細

提供
データ
<ステージ1>
学習:画像データ1,102枚
評価:画像データ1,651枚
報酬等 <ステージ1>
報酬なし
<ステージ2>
1位:賞金10万円 + レモン10kg+レモンのお菓子の詰め合わせ      
2位:レモン10kg+レモンのお菓子の詰め合わせ
3位:レモン10kg
※ステージ1では報酬なし、ステージ2のみ上記報酬がございます。
評価方法 ステージ2での予測精度による定量評価
ランキング対象 ステージ1:ランキング非対象
ステージ2:ランキング対象

評価方法
・精度評価は、評価関数「Quadratic Weighted Kappa(QWK)」を使用します。 
・この評価関数は通常、0から1(完全一致した場合)まで変化し、精度が高いほど大きな数値となります。
・今回用意したデータのラベルに関しては以下のような意味があり、クラス間に順序関係があるため、この評価関数を採用しました。
・ラベルは、0:優良、1:良、2:加工品、3:規格外の4種を意味します。
・QWKの計算式は以下です。



・Oi,jは真の値のクラスがi、予測クラスがjのレコード数
・Ei,jは混合行列の各セル(i,j)に属するレコードの期待値
・ωi,jは真の値と予測値の差の2乗

詳細はこちらを参照ください。


応募方法
・応募ファイルの形式はcsv (カンマ区切り) のヘッダーなしファイルです。
・idをインデックスとし、2列目に予測値を記述します。
※予測値は0,1,2,3のうちいずれかになるため、整数値として応募してください。


入賞者の決定
1.ステージ2で評価された評価指標を元に最終順位が決定します(※リーダーボードはコンペ終了後に自動的に最終評価に切り替わります)
2. ステージ2でのスコアがタイ(同値)の場合は、ご提出いただいたモデルのファイルサイズが小さい順でご応募いただいた参加者を上位とします。
    ファイルサイズも同値の場合はステージ1に早い日時でご応募いただいた参加者を上位とします。 
3. 最終順位が上位の方を入賞候補者とし、事務局から連絡いたします。
4. 事務局での経済的負担や、権利侵害がないことを保証いただくことを条件に、入賞候補者には以下を提出していただきます。
 ・モデルのソースコード(又はそれに準ずるもの)
 ・学習済モデル
 ・予測結果の再現の為の手順書(前処理部分、学習部分、予測部分が分かるように明記。提供データ以外のデータや、学習済モデル、API等を利用した場合は、そのソース(データの所在、論文のリンク等)も明記)
 ・実行環境(OSのバージョン、使用ソフトウェア及び解析手法)
 ・乱数シード(Random Forest等の乱数を利用した手法の場合)
 ・各説明変数のモデルへの寄与度(寄与度の算出が可能な手法を用いた場合)
 ・データの解釈、工夫点、モデリングから得られる示唆等

5. 再現性検証期間中、入賞候補者及び、その提出モデルが下記いずれかに該当する場合は入賞の資格を失います。
 ・事務局からの手続き上の連絡・要求に対して指定された期限内に対応しない
 ・参加条件やルールを満たしていない
 ・プログラムが動作しない
 ・学習済モデルから出力されるスコアと最終評価スコアが一致しない
 ・新しいデータを使った場合に予測できない
 ・その他、事務局が不当と判断した場合
6. 再現性を確認できた方から入賞者を選定します。

心構え
・企業課題の達成、社会問題の解決、研究成果の共有等、大前提となる目的に合わせ、実用性を意識したアプローチで臨んでください。

システムの利用
1参加者につき1アカウントが必要です。1人で複数アカウントを利用、1アカウントを複数人で共有することは禁止します。
1日の応募回数の上限は3回です。
チームでの参加を希望する場合は、こちらを必ずご一読の上、「チーム作成」ボタンからチームを作成ください。(作成期限:2021/03/06、チームリーダー含めて最大5人)。

情報の取り扱い
配布データを使用して作成した学習済モデルや分析結果(ソースコード、アプローチ、戦略等)の公開、他者(同じチームを除く)への共有は禁止します。
・ただし、本コンテストのフォーラムで、全ての参加者に対して公開する場合に限り、共有可能です

データの利用
・配布するデータ以外のデータを利用(学習・予測)することは禁止します。
・手動でラベル付けした結果を提出することや、手動で学習データのラベルを書き換えてモデルを学習することは禁止です。ただし、画像処理手法により自動で画像を水増しして利用することは可能です。
評価データに対して擬似ラベリングを行い、評価データを学習用として改めて利用することは禁止します
・Google Cloud Vision APIなどのAPIの使用は禁止します。ただし、 オープンソース(ソースが明確で、誰でもアクセスでき、かつ商用ではない) の学習済みモデルやライブラリ(tensorflow, chainer, keras, etc)は使用可能です。学習済みモデルを使用する際は、ソース(論文のリンク等)を明記してください。


<データの利用の変更について>
ステージ制への変更に伴い、ステージ1における擬似ラベリング禁止を撤廃させていただきました。
コンペ再開前(2月8日13時よりも前)に配布されたデータを利用(学習・予測)することは不可とします。

実装方法

・モデルの学習に利用するツールは、オープン且つ無料なもの(python)に限定します。
・ソースコードは、以下のように、前処理、学習、予測、の3つに分け、それぞれを実行すれば処理が進むように実装すること。
・再現可能なライブラリ情報が全て記載されている情報(Pythonの場合はpip freezeの表示結果)requirements.txtとしてカレントディレクトリに配備すること。
・dockerを使って開発を行なった場合は、環境が再現可能な記述をしているdockerfileもしくはdocker-compose.ymlカレントディレクトリに配備すること。
・ソースコードの実行コマンドや実行順番について記載したMarkdownファイルをreadme.mdとしてカレントディレクトリに配備すること。

①Preprocessing
  提供データを読み込み、データに前処理を施し、モデルに入力が可能な状態でファイル出力するモジュール。get_train_dataやget_test_dataのように、学習用と評価用を分けて、前処理を行う関数を定義してください。
②Learning
  ①で作成したファイルを読み込み、モデルを学習するモジュール。学習済みモデルや特徴量、クロスバリデーションの評価結果を出力する関数も定義してください。
③Predicting
  ①で作成したテストデータ及び②で作成したモデルを読み込み、予測結果をファイルとして出力するモジュール。
【特記事項】
 ※推論の際に用いる学習済みモデルは1種類まで(2つ以上の異なるモデルを用いてアンサンブルを禁止とする
 ※同一モデルでも、フレームワークや学習データが変わった場合でも別モデルとする

 ※推論の際にTTA(test time augmentation)を行うことを禁止とする
 ※学習済モデルのファイルサイズは合計1GB以内(zip化前)とする
 ※モデル圧縮等は禁止とする

<実装方法の変更について>
コンペルールの明確化及び、今後小型IoT上に実装する観点について再考させていただいた結果、上記のようにルール変更をさせて頂きました。

(1)広島のレモンについて

     ・広島県は国産レモンの一大生産地であり、国内需要の約6割を県内で生産するなど、広島県民にとってなじみの深い果実です。

     ・レモンサワーやハイボール、またサラダなどの料理に安心して使える国産レモンの需要は伸び続けている一方、生産地においては生産者の高齢化や、過去のままの生産方法を原因とする生産性の向上に伸び悩んでいることが現状です。

     ・そこで広島県では“ひろしまサンドボックス”事業の中で、AIIoTを活用した生産性向上の取組を支援するなど、様々な取り組みをしています。



<島しょ部傾斜地農業に向けたAI/IoT実証事業についてはこちら

 

(2)日本一生産量の広島のレモンが抱える課題とは

     ・様々な課題が浮かび上がっている広島のレモンですが、その中でレモンの出荷・選果にフォーカスして基礎研究をした団体がいます。

     ・この団体が提起したレモンの出荷・選果における課題として、

          ①LMSなどのサイズのカテゴリを細かく選別することが負担

          ②購入者のニーズが様々であり、特に外観に対する注文が多いが、見た目についての規定が出荷者によって異なってしまう

     ・この課題に対して、画像データを一定の基準に基づいて判別できるAIの開発に着手しました。

<研究団体>株式会社コムテック広島 黄金の島3.0プロジェクトチーム

<基礎研究の資料はこちら

 

(3)スタートは瀬戸内の島で行われたハッカソン


     ・本研究団体は、平成31年3月に広島県呉市大崎下島で行われた「とびしまハッカソン」の優勝チームです。ハッカソンが終了したあとも有志で研究を続けて、レモンの等級を自動で判別できるシステムの開発を続けました。

     ・レモンの画像については、画像とレモンの等級がきれいにラベリングされている画像がなく、当該チームは現地の島へ足しげく通い、農家の方の協力も得ながら約2,500枚のレモンの撮影と画像のラベリング作業を行いました。

<ハッカソンの開催詳細はこちら

<開発の様子>






 

(4)日本全国のデータサイエンティストへ向けた期待


     ・チームによって開発された判定装置によって、約70%まではレモンの品質を判別できるようになりました。

     ・今後の課題については、

          ①精度の向上(大きさ、重さ、球状など)

          ②判定ミスしたレモンの再学習

          ③他のレモンでの判別

          ④高効率化

     以上のことを考えています。

  この度のコンペでは、まずは①精度の向上を目的として、収集した2,500枚のデータを基に、全国のデータサイエンティストの皆様に、レモン選果のための等級を予測するアルゴリズムを構築していただきたいと考えております。

コンペ提供データのライセンスについて

本コンペでの提供データは営利・非営利を問わずご利用いただけます。
データを改変したものも共有いただけますが、下記のライセンスを継承するものとします。

Creative Comons 表示 - 継承 4.0 国際
クリエイティブ・コモンズ・ライセンス


本コンペでの提供データの利用時には以下を引用願います。
また、利用内容の概要とともにこちらまでご利用の旨をご連絡ください。

データ名:ひろしまQuest2020:画像データを使ったレモンの外観分類データセット
URL:https://signate.jp/competitions/362

Disclosure policy

As a general rule, in accordance with Article 4, Paragraph 1 of the terms of participation, diclosing any contents such as insights and deliverables transmitted through the information or data provided by our company in relation to this competition is not permitted, however, only after the completion of this competition and for non-commercial purposes, it will be possible to disclose the contents within the score of the table below
Model *1
Public
Analysis results *2
Public
Public : Posting to social media sites, blogs and source repositories, and citing to papers
Restricted : Using in a limited range from research, education to seminars, where many unspecified people cannot access
*1 Execution unit source code and learned models
*2 The insights obtained using the information and data provided, or the solutions including scripts and processed data such as summary statistics

FAQ

本コンペでは、学習済みモデルのファイルサイズを合計1GB以内(zip化前)、TTA(test time augmentation)禁止などと言った今までのコンペにはない制約がございます。
ユーザの皆さんから出た疑問点につきましては、以下のように運営で対応策を追記しましたのでぜひご覧ください。

学習済みモデルの保存方法について

Pytorch、Tensorflowによるモデル保存方法を記載していますので、こちらに従い、最終選択の学習済みモデルをzip化したものをご投稿ください

フレームワークがPytorchの場合

torch.save(model.state_dict(), PATH)

【参考】https://pytorch.org/tutorials/beginner/saving_loading_models.html

フレームワークがTensorflowの場合

model.save_weights(PATH)

【参考】https://www.tensorflow.org/guide/keras/save_and_serialize

Raspberry Pi 等では動作困難な巨大モデルであっても違反に該当しないが、モデルサイズやメモリーサイズ、CPU動作時の推論時間等何等かの制約を追加する可能性はあるか

可能性は現状ございません。
モデルサイズやメモリーサイズ、推論時間などの制約も可能ではありますが、その場合開催期間中にコンペとしての評価がしづらくなってしまいます。
そのような事態を考慮し、今回は推論の際に用いる学習済みモデルは1種類(アンサンブル禁止 )、TTA禁止といったルールとしての制約を加えるのみとしております。

コンペルールの明確化及び、今後小型IoT上に実装する観点について再考させていただいた結果、追加ルールとして学習済みモデルのファイズサイズを合計1GB以内(zip化前)とさせて頂きました。

不明点などございましたら、コンペ開催後、フォーラム「改定後のルールについて」でご質問ください。

▼本コンペティションにおける特別規約
・提供データのライセンス:本コンペでの提供データは営利・非営利を問わずご利用いただけます。
・本特別規約と、本コンペティション参加規約とに競合があった場合は、本特別規約が優先されます。



Terms of Participation in SIGNATE Competition

In order to participate in the Competitions, you are required to agree to these Terms, in addition to the Terms of Use of SIGNATE.JP Site (hereinafter referred to as the "Terms of Use"). You should participate in the Competition after reading carefully and agreeing to these Terms. If you agree, these Terms, the matters that are added to these Terms as "additional matters", the Terms of Use and other terms and conditions that you have agreed to shall be binding on the relevant parties as integral documents.


Article 1. Definitions

1.For the purpose of these Terms, the following terms shall be defined as follows:

(1)"Site" means the website "SIGNATE (https://signate.jp)" on which the Competitions are posted.
(2)"Competition" means any competition on AI development or data analysis on the Site as held by the Host.
(3)"Host" is the host(s) of the Competitions. The Host may be SIGNATE, Inc. (hereinafter referred to as the "Company") or the Company’s client companies, affiliated companies, schools or organizations, etc. (hereinafter referred to as the "Client(s)").
(4)"Participant(s)" means the member(s) who participate in a Competition.
(5)"Submissions" means, collectively, the analysis and prediction results and reports, etc. as submitted in the Competition.
(6)"Final Submissions" means the Submissions that are specified by a Participant on the prescribed page in the Site by the time of completion of a Competition.
(7)"Winner Candidate" means the Participant who has received a notice from the Company that he/she is nominated as a winner candidate.
(8)"Submissions for Final Judgment" means the analysis and prediction model and learning data, etc. as submitted by a Winner Candidate pursuant to the instructions of the Company.
(9)"Final Judgment" means the acceptance inspection and judgment, including reproducibility verification, by the Company for the Final Submissions and Submissions for Final Judgment of a Winner Candidate.
(10)"Winner" means the Winner Candidate who is informed by the Company that he/she has won a prize.

Article 2. Competition

1.A member who desires to participate in a Competition shall be required to agree to these Terms and to satisfy the conditions for participation as specified in each such Competition. Any person who is not a member shall not participate in any Competition.
2.Participants shall participate in each Competition in the manner as advised by the Company and shall be obligated to comply with the rules as prescribed in each Competition.
3.Participants may submit the Submissions for the assignment of each Competition during the period of such Competition and submit a proposal on the method of solving the problem to the Host by the end of the period of the said Competition.
4.Participants may submit the Final Submissions in the form specified in each Competition by the time specified by the said Competition.
5.The Final Submissions as submitted shall be evaluated by the evaluation method as specified in each Competition and the final rank order shall be determined based on such evaluation.
6.Any Participant may, as a general rule, check the evaluation results of the Participant him/herself and each of the other Participants on the Site for the Submissions that may be evaluated quantitatively.
7.Participants shall be liable or otherwise responsible for their own Submissions, including their legality.
8.Participants shall not submit any Submissions that have no direct relationship to each Competition.
9.Unless otherwise provided for, Participants shall not directly communicate to, consult with, make a request to, solicit or take any other actions with the Host in respect of the matters related to a Competition during the period of the said Competition.
10.Any Participant who has uncertainty or questions about any Competition shall make sure to contact the Company or its designee through the procedures prescribed by the Company as posted on the Site.
11.The Company shall not be obligated to pay any remuneration or other consideration other than those prescribed in the following Article for any act of the Participants as prescribed in paragraphs hereof.

Article 3. Reward and Vesting of Rights

1.Unless otherwise provided for, any Participant shall satisfy the following requirements in order to be entitled to receive a reward in any Competition that offers a reward:

(1)To be a winner;
(2)To agree to transfer to the Host and the relevant transferee of rights in such Competition all transferable rights, such as copyrights, rights to obtain patents and know-how, etc. in and to all analysis and prediction results, reports, analysis and prediction model, algorithm, source code and documentations for the model reproducibility, etc., and the Submissions contained in the Final Submissions and Submissions for Final Judgment (including the rights as prescribed in Article 27 and Article 28 of the Copyright Act and the rights to obtain patents; hereinafter referred to as the "Rights");
(3)To agree that any relevant transferee of rights exclusively has the right to use the know-how contained in the Final Submissions and Submissions for Final Judgment for its own business and other purpose without any restriction;
(4)To agree not to exercise moral rights to the Rights against the relevant transferee of rights;
(5)To enter into an agreement for the transfer of the Rights with the relevant eligible transferee of rights, including the agreement to the matter in the preceding three (3) items and other reasonable provisions;
(6)To have the personal identity of such Participant verified by the Company.
(7)Not to breach any provision of these Terms and the Terms of Use.

2.Any Winner Candidate shall, after having received a notice from the Company that he/she is nominated as a winner candidate, submit the Submissions for Final Judgment on or before the designated date and communicate the matters requiring confirmation or response in relation to the Final Submissions and the Submissions for Final Judgment to the Company on or before the designated date, in accordance with the instructions of the Company. The Company shall carry out the final judgment based on such matters requiring confirmation or response. If the Company receives no confirmation or response satisfactory to the Company on or before the designated date, the Company may exclude such Winner Candidate from the subject of the final judgment.
3.If the Company considers that the Final Submissions or Submissions for Final Judgment need to be amended or modified, or there occur any additional matters requiring confirmation, in the course of the final judgment, any Winner Candidate shall take action or make response in relation to the matters that require amendment, etc. or the detailed information on the matters requiring confirmation, on or before the designated date in accordance with the instructions of the Company. If the Company receives no action or response satisfactory to the Company on or before the designated date, the Company may exclude such Winner Candidate from the final judgment.
4.The Company shall determine the Winner through the final judgment and inform the Winner to that effect.

Article 4. Confidentiality

1.Participants shall treat any information, data, or such contents as insights and deliverables transmitted through the service where they receive from the Company in relation to each Competition (hereinafter referred to as the "Company-Provided Information") as confidential information and shall not disclose the same to any third party and use the same for any purpose other than for such Competition and purpose specified by the Company separately; provided, however, that the confidential information shall not include any information that falls under any of the following items:

(1)Information that is known to the public at the time of the disclosure;
(2)Information that is already possessed by the Participant at the time of the disclosure (only in the case where such Participant may demonstrate such fact by reasonable means);
(3)Information that becomes known to the public without the fault of the Participant after the disclosure;
(4)Information that is independently developed by the Participant without reference to any information as disclosed (except for those Submissions of the person eligible for a prize which are evaluated); or
(5)Information that is rightfully disclosed by any third party having a right to do so without the obligations of confidentiality (only in the case where such Participant may demonstrate such fact by reasonable means).

2.Any Winner shall handle his/her Final Submissions and Submissions for Final Judgment in the same manner as prescribed in paragraph 1 hereof.
3.Any Participant may publish any algorithms that they have developed as well as any other materials they have created in connection with their participation in a Competition (including Final Submissions and Submissions for Final Judgment) after that Competition in accordance with the Competition Information Disclosure Policy (hereinafter, "Information Disclosure Policy") posted on the Site. However, Participants shall observe the following matters when publishing information and may not publish any materials prohibited by the Information Disclosure Policy:

(1)Clarify that the materials were created in connection with participation in the Competition;
(2)Give credit in accordance with the notation method prescribed in the Information Disclosure Policy when the materials to be published contain part of a dataset; and
(3)Clarify the location accessible to all Participants (including but not limited to the Competition forum and other locations designated by the Company) where the materials are published (including links, etc.) if publishing materials outside the Competition forum.

4.Any Participant shall delete or return to the Company the Company-Provided Information (excluding the information prescribed in paragraph 3) immediately after the completion of a Competition.
5.If there is any separate arrangement in relation to the confidential information in each Competition, the provisions of such arrangement shall prevail over the provisions of these Terms.
6.If any dispute occurs between the Host or other third party and the Company due to the breach by any Participant of the provisions of this Article and such other party makes any claim against the Company, such Participant shall compensate for any damage, loss, expenses (including, but not limited to, attorneys’ fees), lost profits and lost revenues, etc. incurred by the Company.
7.The provisions of this Article shall survive the termination of the relevant Competition or the Participant’s completion of the procedures for withdrawal from the service of the Company, with respect to the Company-Provided Information and the Winner’s Final Submissions and Submissions for Final Judgment for a period of five (5) years thereafter.

Article 5. Prohibited Acts of Participants

1.The Company shall prohibit Participants from engaging in any of the following acts in any Competition:

(1)An act of cracking, cheating, spoofing other misconduct;
(2)An act of redistributing data files included in the dataset;
(3)An act of directly communicating to, consulting with, making a request to, soliciting or responding to solicitation or other activities to other Participants or the Host (other than the Company) without the involvement of the Company;
(4)Any profitmaking activities using the Competition (including solicitation or scouting activities, and use for a third party in educational business, etc.) without the prior approval of the Company in writing or any other manner specified by the Company;
(5)Transfer, offering as collateral or other disposition of the status as a Participant or the rights or obligations as a Participant (except with the prior written consent of the Company); and
(6)Acts that infringe upon the intellectual property rights or any other rights of third parties; and
(7)Any other act in breach of the Terms of Use.

2.If the Company deems that a Participant engages in any of the prohibited acts as prescribed in the preceding paragraph, the Company may, without prior notice to the Participant, disqualify the Participant from the Competition in which the Participant participates, temporarily suspend the Participant from using the service of the Company, withdraw the Participant’s membership, claim damages from the Participant or take any other measures deemed necessary by the Company.

Article 6. Change, Discontinuation or Termination of Provision of Services under These Terms

1.The Company may modify, add or delete any provisions of these Terms from time to time without the approval of the members.

February 8, 2021