お知らせ

[2022/03/24] OpenCV(cv2)を利用できない不備を改修しました。


背景・目的

日本では古典籍・古文書・古記録といった歴史的な資料(史料)が長年受け継がれてきました。それらはわれわれの社会にとって貴重な財産であり、保存のみならず有効に活用することが望まれます。しかしながらくずし字で書かれているものも数多く、残念ながら今やそれらは専門家など一部の方々にしか読めなくなっています。

凸版印刷株式会社は情報・文化の担い手として、彩りの知と技をもとにふれあい豊かなくらしに貢献することを目指しています。その一環として2015年からくずし字OCRの研究・実証実験を進めてきました。かつてはコンピュータでくずし字を認識することは技術的に困難でしたが、昨今大きな進展を見せるAI技術により夢ではなくなりつつあります。そこで本コンペティションではAIアルゴリズムを用いたくずし字認識に挑戦していただきます。皆さまの技術によって、何百年も前の人々が書きしるした事柄を簡単に読める時代が来るかもしれません。

皆さまからのご応募を心よりお待ちしております。

タスク説明

あるページの行領域を検出するアルゴリズムを作成していただきます
        

データセット

画像アノテーション
ファイルフォーマットjpgtsv
内容ある書籍の1ページの画像データ対応する画像における行領域を表現する4点ポリゴン
サンプルサイズ4,160枚
4,160件
備考解像度は一定ではないポリゴンの数は一定ではない

※詳細は、配布データのreadme等をご参照ください。

投稿方法
通常の予測結果ファイルの代わりに、学習済みモデルと推論部分のソースコードを投稿します。投稿すると、自動で予測結果ファイルの作成・推論速度と認識精度の評価が行われます。投稿ファイルの作成方法については、配布データのreadme.mdを参照してください。

※ソースコードの実行を伴うため、評価結果がリーダーボードに反映されるまで時間がかかります。


サイズ・推論速度の評価
投稿ファイル(ソースコードと学習済みモデルをまとめたもの)のサイズと推論時間は、以下の流れに従って評価されます。
 1. 投稿ファイルのサイズが閾値の2GBを超える場合は、評価の対象外となります。
 2. 投稿ファイルは解凍された後、ソースコード(と学習済みモデル)が以下の環境で実行され、推論時間と精度が測定されます。
    - OS: Debian GNU/Linux 11 (bullseye)
    - GPU: Tesla T4
    - CUDA: Version 11.3.1
    ※ 実行環境のDocker imageはこちらを、Dockerfileはこちらを参照ください。
 3. 推論時間の閾値を5[秒/画像]とし、閾値を超える場合は、評価はされますが順位は付きません。(リーダーボードには順位"-"で表示)
   ※学習済みモデルの読み込みを含めて、全体で3時間以上かかる場合はエラーとなり、評価の対象外となります。
 4. 投稿ファイルのサイズと推論時間が閾値をクリアした場合のみ、予測結果の認識精度を元に順位が決定されます。(リーダーボードに表示される推論時間の単位は、[秒/画像])



認識精度の評価方法
精度に対する評価値は"F1Score"を用いて算出します。


これは0~1の間の値をとり、大きいほど高精度となります。

※配布するデータのevaluation.zipの中身も確認してください。

最終順位の決定

1.コンペ最終日までの評価(暫定評価)は評価用データセットの一部で評価し、コンペ終了後の評価(最終評価)は評価用データセットの残りの部分で評価します。
 リーダーボードはコンテスト終了時に自動的に最終評価に切り替わり、それを元に最終順位を決定します。このため、開催中と終了後では順位が大きく変動する場合もあります。

2.スコアが同値の場合は、早い日時でご応募いただいた参加者を上位とします。

3.最終順位が上位の方を入賞候補者とし、事務局から連絡いたします。

4.入賞候補者には以下を提出していただきます。
 ・学習や前処理など、応募時に投稿した推論部分を除いた部分のソースコード
 ・ソースコードの説明書(前処理部分、学習部分などが分かるように明記。提供データ以外のデータや、学習済モデルを利用した場合は、そのソース(データの所在、論文のリンク等)も明記)
 ・実行環境(OSのバージョン、使用ソフトウェア及び解析手法)
 ・データの解釈、工夫点、モデリングから得られる示唆等

5.再現性検証期間中、入賞候補者及び、その提出モデルが下記いずれかに該当する場合は入賞の資格を失います。
 ・事務局からの手続き上の連絡・要求に対して指定された期限内に対応しない
 ・参加条件やルールを満たしていない
 ・プログラムが動作しない
 ・その他、事務局が不当と判断した場合

6.再現性を確認できた方から入賞者を選定します。

参加の前提
・コンペで設定された目的を理解の上、実用性を意識した仕組みの構築をお願いします。
 ここで実用性とは、全自動処理であること、高精度、高速、低計算量(省HWコスト)、データ量に対してスケーラブル、モデル解釈性が高いこと、などを意味します。
・チート行為やルールを無視した方法による参加は認められません。
・他者に対する誹謗中傷や公序良俗に反する行為を禁止します。
 事務局が悪質と判断したケースにおいては、入賞資格や会員資格の剥奪の可能性があることをを予めご了承のうえご参加ください。
・入賞した場合、主催者を交えて解法に関するプレゼンテーションを行うことを必須とします。

システムの利用
・1人につき1アカウントのみ利用可能です。
・チームで参加する場合、チーム人数は最大で5人、2022/4/22まで作成可能です。(チーム作成方法はこちら

情報の取り扱い
コンペ開催期間中
・他の参加者と本コンペのアルゴリズムに関連するデータ・ソースコードを共有する行為は禁止とします。
・ただし、チームで参加している場合は、メンバー内でのデータ・ソースコードの共有は可能です。
コンペ終了後
・「情報公開ポリシー」ページを参照ください。

モデルの構築
・コンペで提供されたフォーマットによる新規データを入力した場合、自動で予測結果が出力されるモデルのみが評価対象となります。
・追加費用を伴わない(有償の外部API等を使用しない)環境下で提案した手法が再現でき、かつ継続使用が可能な実装をお願いします。

ツールの利用
・ツールや学習済みモデルの利用は、商業利用が可能で、オープンかつ無料なもの(python, tensorflow 等)に限定します。

データの利用
・評価データをモデルの学習に用いることは禁止とします。
・自ら取得した外部データを学習や予測に用いることはオープンかつ無料で利用可能なものに限り可能です。
・学習データの修正は(再現可能な範囲で)可能です。修正を行う場合は、再現性を担保するため、ラベル変更箇所(対象データ、座標)と変更手順を、ソースコード以外の文書に明記して下さい(入賞時、ソースコードと合わせてご提出頂く必要がございます)。
・学習データや評価データに対して画像処理の手法によって自動的にデータを水増しすることは可能です。ただし、途中で人の手による操作が入るアルゴリズムは禁止です。

Disclosure policy

As a general rule, in accordance with Article 4, Paragraph 1 of the terms of participation, diclosing any contents such as insights and deliverables transmitted through the information or data provided by our company in relation to this competition is not permitted, however, only after the completion of this competition and for non-commercial purposes, it will be possible to disclose the contents within the score of the table below
Model *1
Private
Analysis results *2
Private
Public : Posting to social media sites, blogs and source repositories, and citing to papers
Restricted : Using in a limited range from research, education to seminars, where many unspecified people cannot access
*1 Execution unit source code and learned models
*2 The insights obtained using the information and data provided, or the solutions including scripts and processed data such as summary statistics

※Notes

上記「分析結果」に、当社から提供されたデータそのものは含まれません。データのみの扱いに関してはデータ元(http://codh.rois.ac.jp/char-shape/)に従ってください。

SIGNATEコンペティション参加規約

本コンペティションに参加するためには、 SIGNATE.JPサイト利用規約 (以下「利用規約」といいます。)に加え、本規約にもご同意いただく必要があります。 本規約を熟読し、ご同意のうえ、本コンペティションにご参加ください。 本規約、本コンペティションへの参加時に「追加事項」として表示されご同意いただいた事項、利用規約及びその他のご同意いただいた事項(以下総称して「本規約等」といいます。)は、すべて参加者を拘束するものとします。


第1条(定義)

1.本規約において次の各用語の定義は、それぞれ次に定めるとおりとします。

(1)「本サイト」とは、本コンペティションを掲載するウェブサイト「SIGNATE(https://signate.jp)」をいいます。
(2)「本コンペティション」とは、ホストが開催する本サイト上でのAI開発又はデータ分析の競技会をいいます。
(3)「ホスト」とは、本コンペティションの主催者をいいます。 ホストは、株式会社SIGNATE(以下、「当社」といいます。)又は当社の顧客企業・提携企業・学校・団体等(以下、「顧客企業等」といいます。)です。
(4)「参加者」とは、会員(利用規約に定義する「会員」をいい、以下同様とします。)のうち、本コンペティションに参加する方をいいます。
(5)「提出物」とは、本コンペティションにおいて提出される分析・予測結果及び予測モデル並びにレポート等の総称をいいます。
(6)「最終提出物」とは、本コンペティションの終了時点までに参加者が提出した提出物の中から本サイトの所定のページで最終提出物として指定した提出物をいいます。
(7)「入賞候補者」とは、当社より入賞候補の通知を受けた参加者をいいます。
(8)「最終審査用提出物」とは、当社の指示に従い、入賞候補者が提出する提出物並びにその他当社が指定するものをいいます。
(9)「最終審査」とは、入賞候補者の最終提出物及び最終審査用提出物に対して当社が行う、再現性検証を含む検収及び審査をいいます。
(10)「入賞者」とは、入賞候補者のうち当社より入賞の通知を受けた者をいいます。
(11)「OSS」とは、OSSライセンス条件に基づきライセンスされるソフトウェアをいう。
(12)「OSSライセンス条件」とは、以下に掲げる(i)から(iv)までのいずれかに該当するものをいう。
(i)Free Software Foundation, Inc.により公表されているGNU General Public License又はGNU Lesser General Public Licenseのいずれかのバージョン
(ii)www.opensource.org/licenses/ においてリストされているライセンス条件又はその派生的ライセンス条件
(iii)「フリーソフトウェア」又は「オープンソース・ソフトウェア」とされるライセンス条件
(iv)前三号のいずれかに掲げるライセンス条件に類するライセンス条件又は取り決めであって、当事者に対して、ライセンスソフトウェア、その派生物及びこれに関連する知的財産権の全部又は一部の全ての第三者への公開、配布、利用許諾、権利不行使等を要求するもの

第2条(本コンペティション)

1.本コンペティションに参加することを希望する会員は、本規約等に同意の上、本コンペティションにおいて定められている参加条件を満たしている必要があります。 会員でない方は、本コンペティションに参加することはできません。
2.参加者は、当社がご案内する方法に従い、本コンペティションに参加するものとし、本コンペティションにおいて定められたルールを遵守する義務があります。
3.参加者は、本コンペティションの開催期間中に本コンペティションの問題に対する提出物を提出することができ、ホストに対して問題解決方法の提案を本コンペティションの終了時点まで当社所定の回数行うことができます。
4.参加者は、本コンペティションで指定される形式に従い、本コンペティションで指定される終了時点までに提出した提出物の中から本サイトの所定のページにおいて最終提出物を指定できるものとします。
5.提出された最終提出物は、本コンペティションで定められた評価方法で評価され、その評価をもって最終順位が決定されるものとします。
6.参加者は、提出物が数量的に評価できるものについては、原則、本サイト上で自己及び他の参加者の評価結果を確認できるものとします。
7.参加者は、自身の提出物について、その適法性を含め、一切の責任を負うものとします。
8.参加者は、本コンペティションに直接関係のない提出物を提出しないものとします。
9.参加者は、特段の定めがない限り、本コンペティションに関わる内容について、本コンペティションの開催期間中にホストに対して直接連絡、相談、依頼、勧誘等の活動を行ってはいけません。
10.参加者は、本コンペティションに関して不明点や疑問点がある場合、必ず本サイト上に掲載する当社所定の手続きにより、当社又は当社が指定する第三者まで連絡をすることとします。
11.参加者は、提出物にOSSを利用又は組み込む場合、当該OSSに係るOSSライセンス条件を遵守して提出物を製作するとともに、当該OSSの名称、これの出所であるURL、及びこれに適用されるOSSライセンス条件のリストを作成するものとします。但し、参加者は、提出物において、商業利用が禁止されているOSSを使用してはならないものとします。
12.参加者は、本コンペティションにおいて懸賞金を獲得する権利を得た場合、当該懸賞金の支払い及びそれに付随する税務処理に必要となる参加者の住所、氏名及び口座情報等(「個人情報の保護に関する法律」に定める「個人情報」を含みます。)を当社に提供するものとし、懸賞金支払いの税務処理のために必要な範囲で当社がホストに対しこれらの情報を提供することに同意するものとします。
13.ホストは、本コンペティションにおける参加者のいかなる行為に対しても、名目の如何を問わず一切の報酬その他の金員を支払う義務を有しないものとします。また、当社は、本コンペティションにおける参加者の行為に対して、次条に定める懸賞を除き、一切の報酬その他の金員を支払う義務を有しないものとします。

第3条(懸賞及び権利の帰属)

1.参加者は、懸賞が付されている本コンペティションにおいて懸賞を獲得する権利を得るためには、特段の定めがない限り、以下の各号に定める条件を満たす必要があります。

(1)入賞者となること
(2)最終提出物及び最終審査用提出物に含まれるすべての分析・予測結果及び予測モデル並びにレポート等、アルゴリズム・ソースコード・再現法等の説明書等(但し、これらに限りません。)、及び提出物に関する著作権(著作権法第27条及び第28条に定める権利を含み、以下同様とします。)、特許を受ける権利、ノウハウ等すべての譲渡可能な権利(以下総称して「本件権利」といいます。)について、ホストその他の本コンペティションにおける権利譲渡対象者へ譲渡するために必要なすべての権限を有していることを保証したうえで、当該譲渡に同意すること
(3)最終提出物及び最終審査⽤提出物並びに本件権利について、権利譲渡対象者が何ら制限なく無償で⾃ら及びその関係会社の事業及びその他⽬的に利⽤できることを保証し、権利譲渡対象者又はその関係会社が本件権利を専有することに合意すること
(4)権利譲渡対象者に対し、本件権利に関する著作者人格権を行使しないことに同意すること
(5)前3号の保証及び同意その他の合理的な条項を含む、本件権利の譲渡のための契約を権利譲渡対象者と締結すること
(6)当社による参加者の本人確認が完了すること
(7)住所や氏名などの個人情報をホストに提供することに同意すること(税務処理以外の用途には使用しません。)
(8)本規約等の規定に違反していないこと

2.入賞候補者は、当社より入賞候補の通知を受け取った後、当社の指示に従い、最終審査用提出物を指定期日までに当社に提出し、また、最終提出物及び最終審査用提出物に関する確認・回答事項を指定期日までに当社へ連絡するものとします。 当社は、かかる確認・回答事項を前提に、最終審査を行います。 指定期日までに当社が満足する確認・回答事項が得られない場合、当社は、当該入賞候補者を最終審査の対象外とすることがあり、入賞候補者はこれについて異議を述べないものとします。
3.入賞候補者は、最終審査の過程で、最終提出物又は最終審査用提出物に修正又は変更の必要があると当社が判断、もしくは追加で確認事項が発生した場合、当社の指示に従い、修正又は変更の必要な項目及び確認事項について、指定期日までに対処し又は回答するものとします。 指定期日までに当社が満足する対処・回答が得られない場合、当社は、当該入賞候補者を最終審査の対象外とすることがあり、入賞候補者はこれについて異議を述べないものとします。
4.当社は、最終審査を経て⼊賞者を決定し、⼊賞者に対しその旨の通知をするものとします。

第4条(秘密保持)

1.参加者は、本コンペティションに関して当社から受領する情報を用いて得られた知見や生成物等(参加者の提出物を含み、以下「当社提供情報」といいます。)を秘密情報として取り扱い、第三者には開示しないものとし、かつ、本コンペティション及び別途当社が指定した目的以外に使用することができないものとします。 但し、以下の各号に定める情報は、秘密情報には含まれないものとします。

(1)受領の時点において公知となっていた情報
(2)受領の時点において、既に参加者が所有していた情報(当該参加者が合理的な手段で証明することができる場合に限ります。)
(3)受領の後に、参加者の責めによらず公知となった情報
(4)受領したいかなる情報にもよらずに独自に開発した情報
(5)何ら秘密保持義務を負担することなく開示権限ある第三者から合法的に受領した情報(当該参加者が合理的な手段でこれを証明することができる場合に限ります。)

2.入賞者は、自己の最終提出物及び最終審査用提出物について、入賞の通知を受けた後も引き続き当社提供情報と同様の取扱いをするものとします。また、前項の定めにかかわらず、入賞者が決定した後は、当該入賞者の最終提出物及び最終審査用提出物を除く参加者の提出物は、当社提供情報に含まれないものとします。
3.本コンペティション終了後に自身で開発したアルゴリズム及びその他本コンペティションへの参加に関連して作成した資料等(最終提出物及び最終審査用提出物を含みます。)について、本サイト上で公開される本コンペティションの情報公開ポリシー(以下、「情報公開ポリシー」といいます。)の記載に従い、これを公開することができます。なお、情報公開ポリシーにおいて公開不可の記載がある場合には公開することはできず、また、公開にあたっては以下の事項を遵守するものとします。

(1)本コンペティションの参加に関連して作成したものであることを明記すること
(2)公開する資料中にデータセットの一部が含まれる場合のクレジット表記については、情報公開ポリシーの記載に従うこと
(3)本コンペティションのフォーラム以外で公開する場合は、全ての参加者が閲覧できる場所(本コンペティションのフォーラム、その他当社が指定する場所を含みますが、これらに限りません。)に公開する場所(リンク等を含みます。)を明記すること

4.参加者は、本コンペティションの終了後、直ちに当社提供情報(但し、第3項に定めるものを除きます。)を消去又は当社に返還するものとします(本コンペティションで提供する学習用データについてはデータ元(http://codh.rois.ac.jp/char-shape/)の利用ポリシーに準拠するものとします。)。
5.本コンペティションにおいて、別途秘密情報に関する取り決めがなされる場合は、当該取り決めの規定が本規約の規定に優先するものとします。
6.参加者が本条の規定に違反したことにより、第三者と、当社又はホストとの間で紛争が生じ、その他第三者が当社又はホストに対して何らかの請求を行った場合、当該参加者は当社及びホストが被る一切の損害、損失、費用(弁護士費用を含むがこれに限定されません。)、逸失利益、逸失収入などを補償するものとします。
7.本条の規定は、当社提供情報並びに⼊賞者の最終提出物及び最終審査⽤提出物に関し、本コンペティション終了後及び参加者が当社の提供するすべてのサービスについて退会⼿続きを完了した後5年間有効に存続します。

第5条(参加者の禁止行為)

1.当社は、本コンペティションにおいて、参加者に対し、次に掲げる行為を禁止します。

(1)クラッキングやチート行為、なりすまし等の不正行為
(2)当社が関与しない形で行う、自己の利益を図ることを目的とした他の参加者又はホスト(当社以外の者に限ります。)に対する直接連絡、相談、依頼、勧誘等の活動
(3)書面その他当社が指定する方法による事前の承諾を得ることなく行う、本コンペティションを利用した一切の営利活動(勧誘・スカウト行為、教育事業における第三者への利用等を含みますが、これらに限りません。)
(4)参加者としての地位又は参加者としての権利義務の移転、担保設定その他の処分(事前に当社の書面による同意がある場合を除きます。)
(5)第三者の知的財産権、その他⼀切の権利を侵害する⾏為
(6)その他、本規約等に違反する行為

2.参加者が前項に規定する禁止行為を行った、又は行う恐れがあると当社が認める場合、当社は、当該参加者に事前に通知することなく、当該参加者の本コンペティションにおける失格処分、当社が提供する全部又は一部のサービスの一時利用停止、退会処分、損害賠償請求その他当社が必要と判断した措置をとることがあります。

第6条(本規約の変更)

1.当社は、参加者の了承を得ることなく、本規約を随時変更、追加、削除することができます。

2022 年 1 月 21 日