お知らせ

[2024/02/27] 「入賞者レポートタブ」に各入賞者の解法を公開しました。
[2023/10/13] 「データタブ」に「分析用のチュートリアル」を追加しました。

背景

山口県では、デジタル技術を活用して地域課題の解決や新たな価値の創造を図るため、DX推進官民連係フォーラム「デジテック for YAMAGUCHI※」を創設し、『共に考え、共に挑戦し、克服』を目標に、山口県が抱える課題に対して、シビックテック的活動からビジネス的活動まで幅広く取り組んでいます。 この取り組みの１つとして、AI人材育成プログラム「やまぐちAI Quest※※」を提供し、AI技術を活用した地域課題の解決や、新たな価値を創造できる人材育成に取り組んでいます。 

この度、山口県内の高度なAI人材を発掘・育成するとともに、優秀な予測モデル獲得による地域課題の解決のため、古典籍資料のくずし字を変換するAIモデル作成を競う、AI開発コンペティション「ワールドAIコンペティションYAMAGUCHI」を開催します。

古典籍資料の解読は現存している資料の１％ほどに留まっていると言われており、地域には死蔵されている古典籍資料がたくさん残されているようです。本コンペティションにおける活動が、古典籍資料のデジタル化や翻刻のAIモデル作成を通して、古典籍資料の解読に関する知識継承や作業効率の向上を図るとともに、デジタル化の意義について考える機会の一つとなれば幸いです。例えば、AIを活用して、ひいおじいちゃんが昔書いた文章が読めるなど、リアルな体験を増やすきっかけづくりをすることで、そこから住んでいる地域や故郷の歴史を知り・考え、未来へと伝え、一人ひとりが思い描く未来を創造できる住みよい地域社会づくりの一翼となれればと考えています。このたび、この考え方にご賛同いただきました山口県立大学 国際文化学部 文化創造学科 准教授 菱岡 憲司 先生から資料および正解テキストデータが提供され、このAIコンペティションが実現しました。

『共に考え、共に挑戦し、克服しましょう！』皆様からの多数のご応募をお待ちしております。


※ ＤＸ推進官民連係フォーラム　https://digitech-ymg.org/
  （運営事務局：一般財団法人山口県デジタル技術振興財団）

※※ やまぐちAI Questへのご登録はこちらから

課題

世の中に数冊しかない、貴重な手書きの『姨捨日記』（著者：小津久足）のデータを使用して、くずし字を現代の文字に翻刻するAIモデルを作成していただきます(下図はイメージ)。


データセット

画像アノテーション
ファイルフォーマットjpgjson
内容くずし字で書かれたある1行の文が写った画像データくずし字のテキストデータや各文字の矩形情報などをまとめたデータ
サンプルサイズ35567枚
35567件
備考解像度は一定ではない文字数は一定ではない

※詳細は、配布データのreadme等をご参照ください。なお、評価対象となる画像データは非公開となります。

投稿方法

通常の予測結果ファイルの代わりに、学習済みモデルと推論部分のソースコードを投稿します。投稿すると、自動で予測結果ファイルの作成、サイズと推論速度、認識精度の評価が行われます。投稿ファイルの作成方法については、配布データのreadmeを参照してください。
※ソースコードの実行を伴うため、評価結果がリーダーボードに反映されるまで時間がかかります。

サイズ・推論速度の評価

投稿ファイル(ソースコードと学習済みモデルをまとめたもの)のサイズと推論時間は、以下の流れで評価されます。
1. 投稿ファイルのサイズの閾値1GBを超える場合は、評価の対象外。
2. 投稿ファイルの解凍後、ソースコード(と学習済みモデル)が以下の環境で実行され、推論時間と精度を測定。
　　 - OS: Ubuntu20.04
　　 - GPU: Tesla T4
　　 - vCPU: 4
　　 - Memory: 16 [GB]
    ※ 実行環境のDocker imageはこちら

3. 推論時間の閾値2[秒/画像]を超える場合は、評価はされるが順位は付かない（リーダーボードは順位"-"で表示）
　 ※学習済みモデルの読み込みを含め全体で3時間以上かかる場合はエラーとなり、評価の対象外。
4. 投稿ファイルのサイズと推論時間が閾値をクリアした場合のみ、予測結果の認識精度を元に順位が決定。（リーダーボードに表示される推論時間の単位は、[秒/画像]）


精度の評価

精度に対する評価値は"F1Score"を用いて算出します。


これは0~1の間の値をとり、大きいほど高精度となります。
例えば、正解の文字列が

"こんにちは"

で、予測された文字列が

"にこんはち"

だったとします。正解の文字列に対して挿入と削除を繰り返して予測された文字列になるように編集を加えます。このとき、まず正解の文字列の先頭に"に"を挿入し、"ん"の次の"に"を削除し、"ち"の前に"は"を挿入して、最後の"は"を削除することで、予測された文字列"にこんはち"となります。

正解の文字列に対して削除された文字("に"と"は")を正解の中で認識できなかった文字とし、その数をFNとします(この例の場合は2)。削除されずに残った文字数を正しく認識できた文字数とし、TPとします(この例の場合は3)。予測された文字列の中で正しく認識できた文字を除いた文字を予測の中で正しく認識できなかった文字とし、その数をFPとします(この例の場合は2)。よって"F1Score"は0.6となります。


入賞者決定の流れ

1. コンペ最終日までの評価（暫定評価）は評価用データセットの一部で評価し、コンペ終了後の評価（最終評価）は評価用データセットの残りの部分で評価します。リーダーボードはコンテスト終了時に自動的に最終評価に切り替わり、それを元に最終順位を決定します。このため、開催中と終了後では順位が大きく変動する場合もあります。
※投稿ファイルは最大2つまで選択可能で、最終評価のスコアの高いファイルが自動的に採用されます。
2. スコアが同値の場合は、早い日時でご応募いただいた参加者を上位とします。
3. 最終評価による総合順位の上位3チームと(該当者がいる場合)やまぐちAI Quest参加者のうち最上位者を入賞候補者とし、事務局から連絡いたします。
4. 検収のため、入賞候補者には、以下を提出していただきます。
　・学習や前処理など、応募時に投稿した推論部分を除いた部分のソースコード
　・ソースコードの説明書（前処理部分、学習部分などが分かるように明記。学習済モデルを利用した場合は、そのソース（データの所在、論文のリンク等）も明記）
　・実行環境（OSのバージョン、使用ソフトウェア及び解析手法）
　・データの解釈、工夫点、モデリングから得られる示唆等
5. 検収期間中、入賞候補者及び、その提出モデルが下記いずれかに該当する場合は失格となり、入賞の資格を失います。
　・事務局からの手続き上の連絡・要求に対して指定された期限内に対応しない
　・参加条件やルールを満たしていない
　・入賞時の提出物の権利譲渡に同意してない
　・プログラムが動作しない
　・その他、事務局が不当と判断した場合
6. 検収をクリアした方の中から、入賞者及び順位を確定します。

※失格となった場合や不正が発覚した場合は、SIGNATE独自の裁量により、メダル・ポイントが付与されない場合があります。

参加の前提
・チート行為やルールを無視した方法による参加は認められません。
・他者に対する誹謗中傷や公序良俗に反する行為を禁止します。事務局が悪質と判断したケースにおいては、入賞資格や会員資格の剥奪の可能性があることをを予めご了承のうえご参加ください。

システムの利用
・1人につき1アカウントのみ利用可能です。
・チーム人数は最大で5人、2023/11/11 まで作成可能です（チーム作成方法はこちら）

情報の取り扱い
コンペ開催期間中
・コード・学習済みモデル・データ分析結果のチーム外への共有を禁止します。ただし、全ての参加者が参照可能であるフォーラムでの開示は可能です。

コンペ終了後
・「情報公開ポリシー」ページを参照ください。

モデルの構築
・コンペで提供されたフォーマットによる新規データを入力した場合、自動で予測結果が出力されるモデルのみが評価対象となります。
・追加費用を伴わない（有償の外部API等を使用しない）環境下で提案した手法が再現でき、かつ継続使用が可能な実装をお願いします。

データの利用
・自ら取得した外部データ(学習済みモデルを含む)を学習や予測に用いることは第三者の権利を侵害しないオープンかつ無料で利用可能なものに限り可能です。
・学習済みモデルを使用する場合、入賞時にソース（論文のリンク等）を明記してください。
・学習用データの修正（手動でのラベル付けやラベルの書き換え等）は可能です。修正した場合は、後に再現できるよう手順を保存しておいてください。
・評価用データをモデルの学習に用いることは禁止です。

ツールの利用
・ツールの利用は、商業利用が可能で、オープンかつ無料なもの（python, tensorflow 等）に限定します。

実装方法
・配布データの readme.md の指定に従って実装してください。

Disclosure policy

As a general rule, in accordance with Article 4, Paragraph 1 of the terms of participation, diclosing any contents such as insights and deliverables transmitted through the information or data provided by our company in relation to this competition is not permitted, however, only after the completion of this competition and for non-commercial purposes, it will be possible to disclose the contents within the score of the table below
Model *1
Public
Analysis results *2
Public
Public : Posting to social media sites, blogs and source repositories, and citing to papers
Restricted : Using in a limited range from research, education to seminars, where many unspecified people cannot access
*1 Execution unit source code and learned models
*2 The insights obtained using the information and data provided, or the solutions including scripts and processed data such as summary statistics

※Notes

SIGNATEで開催した他の類似したコンペティションの参加に関連して作成したコード・学習済みモデル・データ分析結果は公開できません。

SIGNATEコンペティション参加規約

本コンペティションに参加するためには、 SIGNATE.JPサイト利用規約 （以下「利用規約」といいます。）に加え、本規約にもご同意いただく必要があります。 本規約を熟読し、ご同意のうえ、本コンペティションにご参加ください。 本規約、本コンペティションへの参加時に「追加事項」として表示されご同意いただいた事項、利用規約及びその他のご同意いただいた事項（以下総称して「本規約等」といいます。）は、すべて参加者を拘束するものとします。


第１条（定義）

１.本規約において次の各用語の定義は、それぞれ次に定めるとおりとします。

(１)「本サイト」とは、本コンペティションを掲載するウェブサイト「SIGNATE（https://signate.jp）」をいいます。
(２)「本コンペティション」とは、ホストが開催する本サイト上でのAI開発又はデータ分析の競技会をいいます。
(３)「ホスト」とは、本コンペティションの主催者をいいます。 ホストは、株式会社SIGNATE（以下、「当社」といいます。）又は当社の顧客企業・提携企業・学校・団体等（以下、「顧客企業等」といいます。）です。
(４)「参加者」とは、会員（利用規約に定義する「会員」をいい、以下同様とします。）のうち、本コンペティションに参加する方をいいます。
(５)「提出物」とは、本コンペティションにおいて提出される分析・予測結果及び予測モデル並びにレポート等の総称をいいます。
(６)「最終提出物」とは、本コンペティションの終了時点までに参加者が提出した提出物の中から本サイトの所定のページで最終提出物として指定した提出物をいいます。
(７)「入賞候補者」とは、当社より入賞候補の通知を受けた参加者をいいます。
(８)「最終審査用提出物」とは、当社の指示に従い、入賞候補者が提出する提出物並びにその他当社が指定するものをいいます。
(９)「最終審査」とは、入賞候補者の最終提出物及び最終審査用提出物に対して当社が行う、再現性検証を含む検収及び審査をいいます。
(１０)「入賞者」とは、入賞候補者のうち当社より入賞の通知を受けた者をいいます。
(１１)「OSS」とは、OSSライセンス条件に基づきライセンスされるソフトウェアをいう。
(１２)「OSSライセンス条件」とは、以下に掲げる(i)から(iv)までのいずれかに該当するものをいう。
(i)Free Software Foundation, Inc.により公表されているGNU General Public License又はGNU Lesser General Public Licenseのいずれかのバージョン
(ii)www.opensource.org/licenses/ においてリストされているライセンス条件又はその派生的ライセンス条件
(iii)「フリーソフトウェア」又は「オープンソース・ソフトウェア」とされるライセンス条件
(iv)前三号のいずれかに掲げるライセンス条件に類するライセンス条件又は取り決めであって、当事者に対して、ライセンスソフトウェア、その派生物及びこれに関連する知的財産権の全部又は一部の第三者への公開、配布、利用許諾、権利不行使等を要求するもの

第２条（本コンペティション）

１.本コンペティションに参加することを希望する会員は、本規約等に同意の上、本コンペティションにおいて定められている参加条件を満たしている必要があります。 会員でない方は、本コンペティションに参加することはできません。
２.参加者は、当社がご案内する方法に従い、本コンペティションに参加するものとし、本コンペティションにおいて定められたルールを遵守する義務があります。
３.参加者は、本コンペティションの開催期間中に本コンペティションの問題に対する提出物を提出することができ、ホストに対して問題解決方法の提案を本コンペティションの終了時点まで当社所定の回数行うことができます。
４.参加者は、本コンペティションで指定される形式に従い、本コンペティションで指定される終了時点までに提出した提出物の中から本サイトの所定のページにおいて最終提出物を指定できるものとします。
５.提出された最終提出物は、本コンペティションで定められた評価方法で評価され、その評価をもって最終順位が決定されるものとします。
６.参加者は、提出物が数量的に評価できるものについては、原則、本サイト上で自己及び他の参加者の評価結果を確認できるものとします。
７.参加者は、自身の提出物について、その適法性及び非侵害性を含め、一切の責任を負うものとします。
８.参加者は、本コンペティションに直接関係のない提出物を提出しないものとします。
９.参加者は、特段の定めがない限り、本コンペティションに関わる内容について、本コンペティションの開催期間中にホストに対して直接連絡、相談、依頼、勧誘等の活動を行ってはいけません。
１０.参加者は、本コンペティションに関して不明点や疑問点がある場合、必ず本サイト上に掲載する当社所定の手続きにより、当社又は当社が指定する第三者まで連絡をすることとします。
１１.参加者は、提出物にOSSを利用又は組み込む場合、当該OSSに係るOSSライセンス条件を遵守して提出物を製作するとともに、当該OSSの名称、これの出所であるURL、及びこれに適用されるOSSライセンス条件のリストを作成するものとします。但し、参加者は、提出物において、商業利用が禁止されているOSSを使用してはならないものとします。
１２.ホストは、本コンペティションにおける参加者のいかなる行為に対しても、名目の如何を問わず一切の報酬その他の金員を支払う義務を有しないものとします。また、当社は、本コンペティションにおける参加者の行為に対して、次条に定める懸賞を除き、一切の報酬その他の金員を支払う義務を有しないものとします。

第３条（懸賞及び権利の帰属）

１.参加者は、懸賞が付されている本コンペティションにおいて懸賞を獲得する権利を得るためには、特段の定めがない限り、以下の各号に定める条件を満たす必要があります。

(１)入賞者となること
(２)最終提出物及び最終審査用提出物に含まれるすべての分析・予測結果及び予測モデル並びにレポート等、アルゴリズム・ソースコード・再現法等の説明書等（但し、これらに限りません。）、及び提出物に関する著作権（著作権法第27条及び第28条に定める権利を含み、以下同様とします。）、特許を受ける権利、ノウハウ等すべての譲渡可能な権利（以下総称して「本件権利」といいます。）について、ホストその他の本コンペティションにおける権利譲渡対象者へ譲渡するために必要なすべての権限を有していることを保証したうえで、当該譲渡に同意すること
(３)最終提出物及び最終審査⽤提出物並びに本件権利について、権利譲渡対象者が何ら制限なく無償で⾃ら及びその関係会社の事業及びその他⽬的に利⽤できることを保証し、権利譲渡対象者又はその関係会社が本件権利を専有することに合意すること
(４)権利譲渡対象者に対し、本件権利に関する著作者人格権を行使しないことに同意すること
(５)前３号の保証及び同意その他の合理的な条項を含む、本件権利の譲渡のための契約を権利譲渡対象者と締結すること
(６)当社による参加者の本人確認が完了すること
(７)本規約等の規定に違反していないこと

２.入賞候補者は、当社より入賞候補の通知を受け取った後、当社の指示に従い、最終審査用提出物を指定期日までに当社に提出し、また、最終提出物及び最終審査用提出物に関する確認・回答事項を指定期日までに当社へ連絡するものとします。 当社は、かかる確認・回答事項を前提に、最終審査を行います。 指定期日までに当社が満足する確認・回答事項が得られない場合、当社は、当該入賞候補者を最終審査の対象外とすることがあり、入賞候補者はこれについて異議を述べないものとします。
３.入賞候補者は、最終審査の過程で、最終提出物又は最終審査用提出物に修正又は変更の必要があると当社が判断、もしくは追加で確認事項が発生した場合、当社の指示に従い、修正又は変更の必要な項目及び確認事項について、指定期日までに対処し又は回答するものとします。 指定期日までに当社が満足する対処・回答が得られない場合、当社は、当該入賞候補者を最終審査の対象外とすることがあり、入賞候補者はこれについて異議を述べないものとします。
４.当社は、最終審査を経て⼊賞者を決定し、⼊賞者に対しその旨の通知をするものとします。

第４条（秘密保持）

１.参加者は、本コンペティションに関して当社から受領する情報を用いて得られた知見や生成物等（参加者の提出物を含み、以下「当社提供情報」といいます。）を秘密情報として取り扱い、第三者には開示しないものとし、かつ、本コンペティション及び別途当社が指定した目的以外に使用することができないものとします。 但し、以下の各号に定める情報は、秘密情報には含まれないものとします。

(１)受領の時点において公知となっていた情報
(２)受領の時点において、既に参加者が所有していた情報（当該参加者が合理的な手段で証明することができる場合に限ります。）
(３)受領の後に、参加者の責めによらず公知となった情報
(４)受領したいかなる情報にもよらずに独自に開発した情報
(５)何ら秘密保持義務を負担することなく開示権限ある第三者から合法的に受領した情報（当該参加者が合理的な手段でこれを証明することができる場合に限ります。）

２.入賞者は、自己の最終提出物及び最終審査用提出物について、入賞の通知を受けた後も引き続き当社提供情報と同様の取扱いをするものとします。また、前項の定めにかかわらず、入賞者が決定した後は、当該入賞者の最終提出物及び最終審査用提出物を除く参加者の提出物は、当社提供情報に含まれないものとします。
３.本コンペティション終了後に自身で開発したアルゴリズム及びその他本コンペティションへの参加に関連して作成した資料等（最終提出物及び最終審査用提出物を含みます。）について、本サイト上で公開される本コンペティションの情報公開ポリシー（以下、「情報公開ポリシー」といいます。）の記載に従い、これを公開することができます。なお、情報公開ポリシーにおいて公開不可の記載がある場合には公開することはできず、また、公開にあたっては以下の事項を遵守するものとします。

(１)本コンペティションの参加に関連して作成したものであることを明記すること
(２)公開する資料中にデータセットの一部が含まれる場合のクレジット表記については、情報公開ポリシーの記載に従うこと
(３)本コンペティションのフォーラム以外で公開する場合は、全ての参加者が閲覧できる場所（本コンペティションのフォーラム、その他当社が指定する場所を含みますが、これらに限りません。）に公開する場所（リンク等を含みます。）を明記すること

４.参加者は、本コンペティションの終了後、直ちに当社提供情報（但し、第３項に定めるものを除きます。）を消去又は当社に返還するものとします（本コンペティションで提供する学習用データについてはデータ元（http://codh.rois.ac.jp/char-shape/）の利用ポリシーに準拠するものとします。）。
５.本コンペティションにおいて、別途秘密情報に関する取り決めがなされる場合は、当該取り決めの規定が本規約の規定に優先するものとします。
６.参加者が本条の規定に違反したことにより、第三者と、当社又はホストとの間で紛争が生じ、その他第三者が当社又はホストに対して何らかの請求を行った場合、当該参加者は当社及びホストが被る一切の損害、損失、費用（弁護士費用を含むがこれに限定されません。）、逸失利益、逸失収入などを補償するものとします。
７.本条の規定は、当社提供情報並びに⼊賞者の最終提出物及び最終審査⽤提出物に関し、本コンペティション終了後及び参加者が当社の提供するすべてのサービスについて退会⼿続きを完了した後5年間有効に存続します。

第５条（参加者の禁止行為）

１．当社は、本コンペティションにおいて、参加者に対し、次に掲げる行為を禁止します。

(１)クラッキングやチート行為、なりすまし等の不正行為
(２)当社が関与しない形で行う、自己の利益を図ることを目的とした他の参加者又はホスト（当社以外の者に限ります。）に対する直接連絡、相談、依頼、勧誘等の活動
(３)書面その他当社が指定する方法による事前の承諾を得ることなく行う、本コンペティションを利用した一切の営利活動（勧誘・スカウト行為、教育事業における第三者への利用等を含みますが、これらに限りません。）
(４)参加者としての地位又は参加者としての権利義務の移転、担保設定その他の処分（事前に当社の書面による同意がある場合を除きます。）
(５)第三者の知的財産権、その他⼀切の権利を侵害する⾏為
(６)その他、本規約等に違反する行為

２.参加者が前項に規定する禁止行為を行った、又は行う恐れがあると当社が認める場合、当社は、当該参加者に事前に通知することなく、当該参加者の本コンペティションにおける失格処分、当社が提供する全部又は一部のサービスの一時利用停止、退会処分、損害賠償請求その他当社が必要と判断した措置をとることがあります。

第６条（本規約の変更）

１.当社は、参加者の了承を得ることなく、本規約を随時変更、追加、削除することができます。

2023 年 10 月 13 日