投稿方法
通常の予測結果ファイルの代わりに、学習済みモデルと推論を実行するためのソースコードを投稿します。投稿すると、自動で予測結果ファイルの作成・推論速度と認識精度の評価が行われます。投稿ファイルの作成方法については、配布データのreadme.mdを参照してください。
※ソースコードの実行を伴うため、評価結果がリーダーボードに反映されるまで時間がかかります。
サイズ・推論速度の評価
投稿ファイル(ソースコードと学習済みモデルをまとめたもの)のサイズと推論時間は、以下の流れに従って評価されます。
1. 投稿ファイルのサイズが閾値の1GBを超える場合は、評価の対象外となります。
2. 投稿ファイルは解凍された後、ソースコード(と学習済みモデル)が以下の環境で実行され、推論時間と精度が測定されます。
- GPU: Tesla T4
※ 実行環境のDocker imageはこちらを参照ください。
3. 推論時間の閾値を10[秒/画像]とし、閾値を超える場合は、評価はされますが順位は付きません。(リーダーボードには順位"-"で表示)
※学習済みモデルの読み込みを含めて、全体で3時間以上かかる場合はエラーとなり、評価の対象外となります。
4. 投稿ファイルのサイズと推論時間が閾値をクリアした場合のみ、予測結果の認識精度を元に順位が決定されます。(リーダーボードに表示される推論時間の単位は、[秒/画像])
認識精度の評価方法
精度に対する評価値は"F1Score"を用いて算出します。
これは0~1の間の値をとり、大きいほど高精度となります。今回は栄養成分表示の熱量を数値として推論しますが、正解の数値との文字列としての一致度により精度評価を行います。
例えば、正解の文字列が
"12345"
で、予測された文字列が
"31254"
だったとします。正解の文字列に対して挿入と削除を繰り返して予測された文字列になるように編集を加えます。このとき、まず正解の文字列の先頭に"3"を挿入し、"2"の次の"3"を削除し、"4"の前に"5"を挿入して、最後の"5"を削除することで、予測された文字列"31254"となります。
正解の文字列に対して削除された文字("3"と"5")を正解の中で認識できなかった文字とし、その数をFN(False Negative)とします(この例の場合は2)。削除されずに残った文字数を正しく認識できた文字数とし、TP(True Positive)とします(この例の場合は3)。予測された文字列の中で正しく認識できた文字を除いた文字を予測の中で正しく認識できなかった文字とし、その数をFP(False Positive)とします(この例の場合は2)。よって"F1Score"は0.6となります。
すべての画像サンプルについてTP, FP, FNを足し合わせたあとに計算される"F1Score"を最終的な精度評価値とします。
入賞者決定の流れ
1.コンペ最終日までの評価(暫定評価)は評価用データセットの一部で評価し、コンペ終了後の評価(最終評価)は評価用データセットの残りの部分で評価します。
リーダーボードはコンテスト終了時に自動的に最終評価に切り替わり、それを元に最終順位を決定します。このため、開催中と終了後では順位が大きく変動する場合もあります。
※投稿ファイルは最大2つまで選択可能で、最終評価のスコアの高いファイルが自動的に採用されます。
2. スコアが同値の場合は、早い日時でご応募いただいた参加者を上位とします。
3. リーダーボードの順位が上位の方から10チームを入賞候補者とし、事務局から連絡いたします。
4. 入賞候補者には、10/14(土)に開催予定のオンラインの審査発表会にて解法プレゼンテーションを行って頂きます。審査発表会では、9月29日(金)時点で上位10位までに選出されたチームのみが参加をすることが出来ます。1チーム持ち時間は15分(10分プレゼンテーション、5分審査員からの質疑応答)で、下記項目を審査項目とします。プレゼンテーションの内容を元にテクノプロ・デザイン社により審査を行い、入賞者及び最終順位を決定します。
▼審査観点
・1次審査での結果
・基礎集計で得られた知見
・実施した前処理とそれを行った理由
・検討したアプローチ手法
・一番工夫した点
・資料のストーリー性
・今回の技術を応用すると、今後どのような課題を解決することが出来るのか
また、昨年テクノプロ・デザイン社が実施をした審査発表会の様子はYoutubeよりご確認いただけますのでご参照ください。
一般の部:https://youtu.be/zoyhOUsj9FI
学生の部:https://youtu.be/XEYcf9TQ9_U
・ 審査発表会終了後、発表資料についてコンペティション運営(Yamaguchi.Kosuke02@technopro.com)まで送付をお願いいたします。
・ 審査発表会はZoomウェビナーにて実施をし、審査発表会の様子は一般公開とさせて頂きます。こちらのURLは後日、公開させて頂きます。
・ 9月29日(金)時点のリーダーボードを参照し、各部門に分かれて上位10チームにテクノプロ・デザイン社より上位入賞候補者確定のメールを、10月3日(火)を目処にご登録頂きましたメールアドレス宛にお送りいたします。そちらのメールをご確認の上、10月5日(木)までに参加可否についてそのメールにてご返信ください。
・ 10月6日(金)時点で確認が取れない場合、棄権したものと見なし11位以下のチームから繰り上げを実施し、繰り上げ入賞候補者になった旨をテクノプロ・デザイン社よりご連絡いたします。
・ 10月10日(火)終日にて、繰り上げ候補者の方からのご返信が無かった場合、棄権したものと見なします。ここからの繰り上げは行いません。
5. 入賞者には、10/28(土)に開催予定の表彰式にご出席いただき、表彰させていただきます。
※注意事項※
・入賞候補者であっても、審査発表会及び表彰式への出席が入賞、各種賞品の受賞条件となります。
・ご出席いただけない場合は棄権されたとみなされます。この場合、リーダーボードの順位が次点の方を繰り上げて入賞候補者とします。
・棄権された場合または審査発表会において不正が発覚した場合は、リーダーボードからも削除させていただきます。この場合、メダル・ポイントも付与されません。予めご了承ください。
・解法プレゼンテーションのスケジュールについては後日ご案内いたします。