お知らせ

2021/06/25 学習用画像データのアノテーション(train_annotations.zip)の内容を更新しました。詳細は、こちらのフォーラム及び配信メールをご確認ください。

2021/06/17 主催者様の意向により、コンペティションの終了日を6/30(水)から7/14(水)に変更いたします。期間延長の経緯につきましては、本コンペティション参加者に配信されるメールをご確認ください。

2021/06/17 リーダーボードの更新が完了しました。

2021/06/16 評価用のアノテーションデータに関する修正、及びスコアの再計算を実施します。修正の内容及び修正に至った経緯につきましてはこちらを御覧ください。なお、スコアの再計算に伴うリーダーボードの更新は6/17(木)を予定しております。更新が完了しましたら、本ページにてお知らせいたします。
※ 今回は学習用のアノテーションデータに関する修正はございません。

2021/05/26 リーダーボードの更新が完了しました。

2021/05/24 リーダーボードの更新を本日5/24から5/26へ変更いたします。

2021/05/21 学習用画像データのアノテーション(train_annotations.zip)を更新しました。

2021/05/20 アノテーション作成時の基準に曖昧さが残されていたため、各ラベルの定義を明確にした上でデータセットの修正を実施いたします。詳細は、こちらのフォーラム及び本コンペティションの参加者に対して送信された配信メールをご確認ください。


背景・目的

住宅を建築する際は、「床材やドア部材の量」によって見積もり金額が変動します。
そのためハウスメーカーは、事前に「床材やドア部材の量」を正しく把握しておくことが必要です。
パナソニック株式会社では、現状、この「床材やドア部材の量」を算出するという作業がすべて人の手によって行われており、「作業可能な人材が限られる」「作業に時間がかかる」といった問題に悩まされています。

そこで、本コンペティションでは、『間取り図解析アルゴリズムの作成』に挑戦していただきます。
間取り図画像から「建具」や「部屋領域」を検出することで、住宅ごとの「床材やドア部材の量」を近似的に算出することが可能となり、ひいては工数の大幅な削減を達成することができます。

皆様には、これらの業務改善を可能にする高性能な予測アルゴリズムの開発を期待しています。

タスク説明

間取り図に対して、建具と部屋領域の種別とその位置を認識するアルゴリズムを作成していただきます。


データセット

画像データと対応するラベルが与えられます。

画像データ
画像データは様々な形の間取り図となります。
ファイルフォーマット、画像数や解像度は以下の通りです。

項目内容
ファイルフォーマットpng
解像度一定ではない
画像数(学習用)2258枚、(評価用)968枚

画像に含まれるラベル
扱うラベルの種別と内容は、以下の通りとなります。
建具と部屋領域で形が異なります。評価用画像にはラベルは与えられません。

ラベル名説明
開戸建具。矩形で囲われる。評価対象となる。
引戸建具。矩形で囲われる。評価対象となる。
折戸建具。矩形で囲われる。評価対象となる。
LDK部屋領域。ポリゴンで囲われる。評価対象となる。
廊下部屋領域。ポリゴンで囲われる。評価対象となる。
浴室部屋領域。ポリゴンで囲われる。評価対象となる。
洋室部屋領域。ポリゴンで囲われる。評価対象ではない。


※その他、データ詳細は「データ」タブをご参照ください。
※建具においては、内装ドアのみを検出対象としています。屋外と接している玄関扉や勝手口、窓等は検出の対象外です。バルコニーやポーチ、ベランダのような一見屋内同士でつながっているように見える部分も対象外となりますのでご注意ください。

認識精度の算出方法
評価スコアは、① 建具に対する認識精度、② 部屋領域に対する認識精度を別々に算出し、最終的にこれらを統合することで総合評価とします。

① 建具に対する認識精度
各カテゴリ(開戸、引戸、折戸)に対する"F1Score"の重み付き平均(開戸:引戸:折戸=1:2:1)により認識精度を評価します。検出できたかどうかは"IoU"の値により判定を行います。


② 部屋領域に対する認識精度
各カテゴリ(浴室、LDK、廊下)に対する"IoU"の重み付き平均(浴室:LDK:廊下=1:2:2)により認識精度を評価します。


最終的な評価
① 建具に対する認識精度と② 部屋領域に対する認識精度を1:2で重み付き平均した結果を最終的な評価結果とします。
値が大きいほど高精度で、0~1までの間の値をとります。

※詳しくは、配布するデータのevaluation_code.zipの中身を確認してください。


最終順位の決定
1. コンペ最終日までの評価(暫定評価)は評価用データセットの一部で評価し、コンペ終了後の評価(最終評価)は評価用データセットの残りの部分で評価します(※リーダーボードはコンペ終了時に自動的に最終評価に切り替わり、それを元に最終順位を決定します。このため、開催中と終了後では順位が大きく変動する場合もあります。)。

2. 評価指標が、タイ(同値)の場合は、早い日時でご応募いただいた参加者を上位とします。

3. 入賞候補者の方には下記の情報を提出していただきます。
・予測モデルのソースコード
・学習済みモデル
・予測結果の再現の為の手順書(前処理部分、学習部分、予測部分が分かるよう明記)
・実行環境(OSのバージョン、使用ソフトウェア及び解析手法) 
・乱数シード(Random Forest等の乱数を利用した手法の場合)
・各説明変数の予測モデルへの寄与度(寄与度の算出が可能な手法を用いた場合)
・データの解釈、工夫点、モデリングから得られる示唆等

4. 再現性検証期間中、入賞候補者及び、その提出モデルが下記いずれかに該当する場合は懸賞の獲得資格を失います。
・事務局からの手続き上の連絡・要求に対して指定された期限内に対応しない場合
・参加条件やルールを満たしていない場合
・学習済みモデルから出力されるスコアと最終評価スコアが一致しない場合 
・アカウントのSMS認証が完了していない場合
・その他、事務局が不当と判断した場合

情報の取り扱い
・本コンペティションのフォーラム以外の場所で他の参加者と本コンペのアルゴリズムに関連するデータ・ソースコードを共有する行為は禁止とします。
・ただし、チームで参加している場合は、メンバー内でのデータ・ソースコードの共有は可能です。

データの利用
・評価データに対して、アノテーションツールなどによって手動で作成した予測結果を提出することや学習データとして改めて利用することは禁止とします。
・商用のツールやデータをアルゴリズムの中で用いることは禁止します。ただし、オープンソース(ソースが明確で誰でもアクセスでき、商用でない)、かつ無償で再現性が検証可能なものであれば、提供データ以外のデータ(学習済みモデルを含む)も利用可能とします。
・提供データ以外のデータ(学習済みモデルを含む)を使用する際は、ソース(論文のリンク等)を明記して下さい。
・学習データの修正は(再現可能な範囲で)可能です。修正を行う場合は、再現性を担保するため、ラベル変更箇所(対象データ、座標)と変更手順を、ソースコード以外の文書に明記して下さい(入賞時、ソースコードと合わせてご提出頂く必要がございます)。
・評価データに対して予測時に画像処理の手法によって自動的にデータを水増しすることは可能です。ただし、途中で人の手による操作が入るアルゴリズムは禁止です。


実装方法
・アルゴリズムの作成に利用するツールは、オープン且つ無料なもの(Python, R 等)に限定します。
・同じフォーマットで、異なるデータを入力した場合にも、同様のロジックで予測できなければなりません。
・追加費用を伴わない(有償の外部API等を使用しない)環境下で提案した手法が再現でき、かつ継続使用が可能な実装をお願いします。
・ソースコードは、以下のように、前処理、学習、予測、の3つに分け、それぞれを実行すれば処理が進むように実装して下さい。

①preprocess
 提供データを読み込み、データに前処理を施し、モデルに入力が可能な状態でファイル出力するモジュール。
 get_train_dataやget_test_dataのように、学習用と評価用を分けて前処理を行う関数を定義。
②train
 ①で作成したファイルを読み込み、モデルを学習するモジュール。
 学習済みモデルや特徴量、クロスバリデーションの評価結果を出力する関数等を定義。
③predict
 ①で作成したテストデータ及び②で作成したモデルを読み込み、予測結果をファイルとして出力するモジュール。

システムの利用
・1日の投稿回数の上限は5回です。
・1参加者につき1アカウントが必要です。1人で複数アカウントを利用、1アカウントを複数人で共有することは禁止します。
・チームでの参加を希望する場合は、こちらを必ずご一読の上、「チーム作成」ボタンからチームを作成ください。(作成期限:2021/05/31、チームリーダー含めて最大5人)

Disclosure policy

As a general rule, in accordance with Article 4, Paragraph 1 of the terms of participation, diclosing any contents such as insights and deliverables transmitted through the information or data provided by our company in relation to this competition is not permitted, however, only after the completion of this competition and for non-commercial purposes, it will be possible to disclose the contents within the score of the table below
Model *1
Private
Analysis results *2
Private
Public : Posting to social media sites, blogs and source repositories, and citing to papers
Restricted : Using in a limited range from research, education to seminars, where many unspecified people cannot access
*1 Execution unit source code and learned models
*2 The insights obtained using the information and data provided, or the solutions including scripts and processed data such as summary statistics

Q:評価用データに対して擬似ラベリングを行い、改めて学習用データとして追加してもよいですか?

A:ルールにあるように、評価用データを学習用データとして使用する(モデルを学習させる等)ことは禁止となります。


Q: ネット上で公開されている「CubiCasa5k」というデータセット(https://github.com/CubiCasa/CubiCasa5k)を学習用データとして使用することは可能ですか?

A: 「CubiCasa5k」のライセンスは「Creative Commons Attribution-NonCommercial 4.0 International License.」となっているため、非営利目的の場合のみ使用が許可されます。『参加規約』『ルール』に記載の通り、当コンペティションで外部データを使用する場合は、そのデータが商用利用な可能なライセンスのもと公開されたものである必要があります。以上を踏まえて、「CubiCasa5k」を当コンペティションにおいて使用することは禁止となっています。

SIGNATEコンペティション参加規約

本コンペティションに参加するためには、 SIGNATE.JPサイト利用規約 (以下「利用規約」といいます。)に加え、本規約にもご同意いただく必要があります。 本規約を熟読し、ご同意のうえ、本コンペティションにご参加ください。 本規約、本コンペティションへの参加時に「追加事項」として表示されご同意いただいた事項、利用規約及びその他のご同意いただいた事項(以下総称して「本規約等」といいます。)は、すべて参加者を拘束するものとします。


第1条(定義)

1.本規約において次の各用語の定義は、それぞれ次に定めるとおりとします。

(1)「本サイト」とは、本コンペティションを掲載するウェブサイト「SIGNATE(https://signate.jp)」をいいます。
(2)「本コンペティション」とは、ホストが開催する本サイト上でのAI開発又はデータ分析の競技会をいいます。
(3)「ホスト」とは、本コンペティションの主催者をいいます。 ホストは、株式会社SIGNATE(以下、「当社」といいます。)又は当社の顧客企業・提携企業・学校・団体等(以下、「顧客企業等」といいます。)です。
(4)「参加者」とは、会員(利用規約に定義する「会員」をいい、以下同様とします。)のうち、本コンペティションに参加する方をいいます。
(5)「提出物」とは、本コンペティションにおいて提出される分析・予測結果及び予測モデル並びにレポート等の総称をいいます。
(6)「最終提出物」とは、本コンペティションの終了時点までに参加者が提出した提出物の中から本サイトの所定のページで最終提出物として指定した提出物をいいます。
(7)「入賞候補者」とは、当社より入賞候補の通知を受けた参加者をいいます。
(8)「最終審査用提出物」とは、当社の指示に従い、入賞候補者が提出する提出物並びにその他当社が指定するものをいいます。
(9)「最終審査」とは、入賞候補者の最終提出物及び最終審査用提出物に対して当社が行う、再現性検証を含む検収及び審査をいいます。
(10)「入賞者」とは、入賞候補者のうち当社より入賞の通知を受けた者をいいます。
(11)「OSS」とは、OSSライセンス条件に基づきライセンスされるソフトウェアをいう。
(12)「OSSライセンス条件」とは、以下に掲げる(i)から(iv)までのいずれかに該当するものをいう。
(i)Free Software Foundation, Inc.により公表されているGNU General Public License又はGNU Lesser General Public Licenseのいずれかのバージョン
(ii)www.opensource.org/licenses/ においてリストされているライセンス条件又はその派生的ライセンス条件
(iii)「フリーソフトウェア」又は「オープンソース・ソフトウェア」とされるライセンス条件
(iv)上記のいずれかに掲げるライセンス条件に類するライセンス条件又は取り決めであって、当事者に対して、ライセンスソフトウェア、その派生物及びこれに関連する知的財産権の全部又は一部の全ての第三者への公開、配布、利用許諾、権利不行使等を要求するもの
(13)関係会社とは、本コンペティション開始日現在又はその後において、自己が直接または間接に議決権の過半数を保有する法人、直接または間接に自己の議決権の過半数を保有する法人、および直接または間接に自己の議決権の過半数を保有する法人により直接または間接に議決権の過半数を保有されている法人をいう。

第2条(本コンペティション)

1.本コンペティションに参加することを希望する会員は、本規約等に同意の上、本コンペティションにおいて定められている参加条件を満たしている必要があります。 会員でない方は、本コンペティションに参加することはできません。
2.参加者は、当社がご案内する方法に従い、本コンペティションに参加するものとし、本コンペティションにおいて定められたルールを遵守する義務があります。
3.参加者は、本コンペティションの開催期間中に本コンペティションの問題に対する提出物を提出することができ、ホストに対して問題解決方法の提案を本コンペティションの終了時点まで当社所定の回数行うことができます。
4.参加者は、本コンペティションで指定される形式に従い、本コンペティションで指定される終了時点までに提出した提出物の中から本サイトの所定のページにおいて最終提出物を指定できるものとします。
5.提出された最終提出物は、本コンペティションで定められた評価方法で評価され、その評価をもって最終順位が決定されるものとします。
6.参加者は、提出物が数量的に評価できるものについては、原則、本サイト上で自己及び他の参加者の評価結果を確認できるものとします。
7.参加者は、自身の提出物について、その適法性を含め、一切の責任を負うものとします。
8.参加者は、本コンペティションに直接関係のない提出物を提出しないものとします。
9.参加者は、特段の定めがない限り、本コンペティションに関わる内容について、本コンペティションの開催期間中にホストに対して直接連絡、相談、依頼、勧誘等の活動を行ってはいけません。
10.参加者は、本コンペティションに関して不明点や疑問点がある場合、必ず本サイト上に掲載する当社所定の手続きにより、当社又は当社が指定する第三者まで連絡をすることとします。
11.ホストは、本コンペティションにおける参加者のいかなる行為に対しても、名目の如何を問わず一切の報酬その他の金員を支払う義務を有しないものとします。また、当社は、本コンペティションにおける参加者の行為に対して、次条に定める懸賞を除き、一切の報酬その他の金員を支払う義務を有しないものとします。
12.参加者は、提出物にOSSを利用又は組み込む場合、当該OSSに係るOSSライセンス条件を遵守して提出物を製作するとともに、当該OSSの名称、これの出所であるURL、及びこれに適用されるOSSライセンス条件のリストを作成するものとします。但し、参加者は、提出物において、商業利用が禁止されているOSSを使用してはならないものとします。

第3条(懸賞及び権利の帰属)

1.参加者は、懸賞が付されている本コンペティションにおいて懸賞を獲得する権利を得るためには、特段の定めがない限り、以下の各号に定める条件を満たす必要があります。

(1)入賞者となること
(2)最終提出物及び最終審査用提出物に含まれるすべての分析・予測結果及び予測モデル並びにレポート等、アルゴリズム・ソースコード・再現法等の説明書等(但し、これらに限りません。)、及び提出物に関する著作権(著作権法第27条及び第28条に定める権利を含み、以下同様とします。)、特許を受ける権利、ノウハウ等すべての譲渡可能な権利(以下総称して「本件権利」といいます。)について、ホストその他の本コンペティションにおける権利譲渡対象者へ譲渡するために必要なすべての権限を有していることを保証したうえで、当該譲渡に同意すること
(3)最終提出物及び最終審査⽤提出物並びに本件権利について、権利譲渡対象者が何ら制限なく無償で⾃ら及びその関係会社の事業及びその他⽬的に利⽤できることを保証し、権利譲渡対象者又はその関係会社が本件権利を専有することに合意すること
(4)権利譲渡対象者、その関係会社及び権利譲渡対象者又はその関係会社の指定する者に対し、提出物に関する著作者⼈格権その他何らの権利も⾏使しないことに同意すること
(5)権利譲渡対象者が要請した場合には、本件権利の出願、取得及び維持保全等に必要な一切の手続(出願等に必要な文書への署名又は記名押印、甲名義での出願及び乙へのその譲渡等全て)について権利譲渡対象者及びその指定する者に対して協力すること
(6) 提出物にOSSを利用又は組み込んでいる場合、参加者は、権利譲渡対象者に対し、当該OSSのソースコード、当該OSSの名称、出所であるURL及び適用されるOSSライセンス条件を記載したリスト並びに権利譲渡対象者が当該OSSのライセンス条件を遵守するのに必要なその他のすべての情報を提供するとともに、これらのいずれかに関して権利譲渡対象者から問い合わせがあった場合には、これに対して迅速かつ誠実に回答すること
(7)前5号の保証及び同意その他の合理的な条項を含む、本件権利の譲渡のための契約であって権利譲渡対象者が指定するものを権利譲渡対象者と締結すること
(8)前号に係る契約を締結する正当な権原を有していること、提出物及び本件権利に関する第三者への権利譲渡、譲渡担保、実施許諾その他の当該契約と抵触する第三者との契約又は合意が当該契約締結日時点で存在しないことを、権利譲渡対象者に対して保証すること
(9)当社による参加者の本⼈確認が完了すること
(10)本規約等の規定に違反していないこと

2.入賞候補者は、当社より入賞候補の通知を受け取った後、当社の指示に従い、最終審査用提出物を指定期日までに当社に提出し、また、最終提出物及び最終審査用提出物に関する確認・回答事項を指定期日までに当社へ連絡するものとします。 当社は、かかる確認・回答事項を前提に、最終審査を行います。 指定期日までに当社が満足する確認・回答事項が得られない場合、当社は、当該入賞候補者を最終審査の対象外とすることがあり、入賞候補者はこれについて異議を述べないものとします。
3.入賞候補者は、最終審査の過程で、最終提出物又は最終審査用提出物に修正又は変更の必要があると当社が判断、もしくは追加で確認事項が発生した場合、当社の指示に従い、修正又は変更の必要な項目及び確認事項について、指定期日までに対処し又は回答するものとします。 指定期日までに当社が満足する対処・回答が得られない場合、当社は、当該入賞候補者を最終審査の対象外とすることがあり、入賞候補者はこれについて異議を述べないものとします。
4.当社は、最終審査を経て⼊賞者を決定し、⼊賞者に対しその旨の通知をするものとします。
5.入賞者が、第1項各号に定める事項のうち、いずれか一にでも違反した場合、入賞者としての資格及び懸賞を獲得する権利を失うものとします。

第4条(秘密保持)

1.参加者は、本コンペティションに関して当社から受領する情報、データ及びそれらを用いて得られた知見や生成物等(参加者の提出物を含み、以下「当社提供情報」といいます。)を秘密情報として取り扱い、第三者には開示しないものとし、かつ、本コンペティション及び別途当社が指定した目的以外に使用することができないものとします。 但し、以下の各号に定める情報は、秘密情報には含まれないものとします。

(1)受領の時点において公知となっていた情報
(2)受領の時点において、既に参加者が所有していた情報(当該参加者が合理的な手段で証明することができる場合に限ります。)
(3)受領の後に、参加者の責めによらず公知となった情報
(4)受領したいかなる情報にもよらずに独自に開発した情報
(5)何ら秘密保持義務を負担することなく開示権限ある第三者から合法的に受領した情報(当該参加者が合理的な手段でこれを証明することができる場合に限ります。)

2.入賞者は、自己の最終提出物及び最終審査用提出物について、入賞の通知を受けた後も引き続き当社提供情報と同様の取扱いをするものとします。また、前項の定めにかかわらず、入賞者が決定した後は、当該入賞者の最終提出物及び最終審査用提出物を除く参加者の提出物は、当社提供情報に含まれないものとします。
3.本コンペティション終了後に自身で開発したアルゴリズム及びその他本コンペティションへの参加に関連して作成した資料等(最終提出物及び最終審査用提出物を含みます。)について、本サイト上で公開される本コンペティションの情報公開ポリシー(以下、「情報公開ポリシー」といいます。)の記載に従い、これを公開することができます。なお、情報公開ポリシーにおいて公開不可の記載がある場合には公開することはできず、また、公開にあたっては以下の事項を遵守するものとします。

(1)本コンペティションの参加に関連して作成したものであることを明記すること
(2)公開する資料中にデータセットの一部が含まれる場合のクレジット表記については、情報公開ポリシーの記載に従うこと
(3)本コンペティションのフォーラム以外で公開する場合は、全ての参加者が閲覧できる場所(本コンペティションのフォーラム、その他当社が指定する場所を含みますが、これらに限りません。)に公開する場所(リンク等を含みます。)を明記すること

4.参加者は、本コンペティションの終了後、直ちに当社提供情報(但し、第3項に定めるものを除きます。)を消去又は当社に返還するものとします。
5.本コンペティションにおいて、別途秘密情報に関する取り決めがなされる場合は、当該取り決めの規定が本規約の規定に優先するものとします。
6.参加者が本条の規定に違反したことにより、第三者と、当社又はホストとの間で紛争が生じ、その他第三者が当社又はホストに対して何らかの請求を行った場合、当該参加者は当社及びホストが被る一切の損害、損失、費用(弁護士費用を含むがこれに限定されません。)、逸失利益、逸失収入などを補償するものとします。
7.本条の規定は、当社提供情報並びに⼊賞者の最終提出物及び最終審査⽤提出物に関し、本コンペティション終了後及び参加者が当社の提供するすべてのサービスについて退会⼿続きを完了した後も有効に存続します。

第5条(参加者の禁止行為)

1.当社は、本コンペティションにおいて、参加者に対し、次に掲げる行為を禁止します。

(1)クラッキングやチート行為、なりすまし等の不正行為
(2)データセットに含まれるデータファイルそのものの再配布
(3)当社が関与しない形で行う、自己の利益を図ることを目的とした他の参加者又はホスト(当社以外の者に限ります。)に対する直接連絡、相談、依頼、勧誘等の活動
(4)書面その他当社が指定する方法による事前の承諾を得ることなく行う、本コンペティションを利用した一切の営利活動(勧誘・スカウト行為、教育事業における第三者への利用等を含みますが、これらに限りません。)
(5)参加者としての地位又は参加者としての権利義務の移転、担保設定その他の処分(事前に当社の書面による同意がある場合を除きます。)
(6)第三者の知的財産権及び営業秘密、その他⼀切の権利を侵害する⾏為
(7)その他、本規約等に違反する行為

2.参加者が前項に規定する禁止行為を行った、又は行う恐れがあると当社が認める場合、当社は、当該参加者に事前に通知することなく、当該参加者の本コンペティションにおける失格処分、当社が提供する全部又は一部のサービスの一時利用停止、退会処分、損害賠償請求その他当社が必要と判断した措置をとることがあります。

第6条(本規約の変更)

1.当社は、参加者の了承を得ることなく、本規約を随時変更、追加、削除することができます。

2021 年 4 月 9 日