コンペ開催事例_コンペティションだからできる幅広いアプローチがある。_防衛装備庁

無舗装路や不整地といったオフロードでの走行は転倒やスリップ、地域によっては地雷による被害など、予期しないアクシデントの可能性を孕んでいる。もしも無人での自律走行ができれば、リスクは最小限に抑えることができる。 防衛装備庁は、以前からオフロードでの自律走行に関する研究を進めていたが、大きな課題を抱えていた。それは、取得できる情報の少なさだ。公道であれば、詳細な三次元地図や路車間通信等のインフラを利用することも可能だが、オフロードに関してはこの限りではない。そこで頼りとなる重要な情報が、実走行で得られる画像データだ。画像データから、走行可能な領域を自動的に、かつ正確に類推できれば、自律走行の実現に大きく近づくのではないか。そんな想いから「オフロード画像のセグメンテーションチャレンジ」コンペティションが開催された。果たして、本コンペ開催に至る経緯はどのようなものだったのか。どんな成果を得ることができたのか。主催者の中心人物である松澤氏に話を伺った。


▼動画はコチラ▼


機械学習の導入を目指すも、技術進化の速さが壁となっていた。

機械学習をどう取り入れていくのか。これが、私たちが抱えていた大きな課題でした。自律走行に関する研究も含め、以前から機械学習の導入は検討していましたが、技術の進化が速すぎることが難点となっていたのです。 これまでの開発等では当該分野において実績ある企業と契約を結び、研究を進めることで成果を挙げていました。しかし、機械学習においては、トレンドのアップデートがあまりにも早いため、最新技術を用いた実績自体が世の中にあまりないのです。そして、ようやく実績ができた頃には、また新しい技術が生まれている。しかし、完全な内製化も難しい。そこで目をつけたのが、公募型のコンペティションという手法でした。 防衛装備庁としてコンペティションの開催実績はなく、実施の可否すら不透明な状況でした。しかし、海外に目を向ければアメリカ国防総省では15年以上も前から、一般の方の知見も借りながら防衛上の課題を解決する施策を実施しています。「DARPAグランド・チャレンジ」と題されたこの取り組みは、指定された未舗装路を無人走行で横断するロボットカーのカーレース。企業はもちろん大学等も参加しており、参加者の知見を自律走行の実現に役立てています。アメリカでできるなら、日本の私たちにもできるはず。そう考えて、コンペティション開催を目指そうと思い至りました。

[002]Competition-1

準備だけで、実に2年以上もかかった。

コンペティションを開催しようと決めたものの、そこから開催までスムーズに進んだわけではありませんでした。準備だけで、実に2年以上もかかりましたから。開催にあたって、どのような基準を求めるのか。組織内で何度も話し合いながら精査を重ね、入札を経て、最終的に決定したのがSIGNATEさんでした。 SIGNATEさんとは、準備段階から綿密に検討を行いました。準備で最も苦労したのが、オフロード画像のデータセットの整備。数千枚にも及ぶ画像に、正解のラベル付けを行ったのですが、SIGNATEさんの方で事前に参考モデルで機械学習の予備分析を回してくださり、正解のクラス分けの偏りを指摘してもらうなど行っていただきながら、なんとか準備を終えることができました。

[002]Competition-2

掲示板で見える参加者の本音は、とても参考になった。

無事準備を終えて募集を開始したものの、最初は応募が集まるか不安で、リーダーボードを定期的にチェックしながら参加者数を確認していました。画像のセグメンテーション(クラスによる領域分割)自体は珍しくないと思いますが、扱うデータがオフロードであることや、防衛装備庁が主催ということも効いたのか、参加者は約450名、総投稿数は3,000件を超える数が集まりました。数だけでなく、精度の面でも日々リーダーボード上の数値が向上していくのを見て、安心と期待を感じていました。 リーダーボード以上に参考になったのが、参加者同士の交流が行われる掲示板である「フォーラム」です。設定したテーマや、用意したデータセットのどの部分に興味を持ってくれたのか。逆に、どの部分に不満を感じているのか。参加者の本音が聞けるため、とても勉強になりました。特に、類似性の高い画像が多いのではないかとの声や、正解データのラベリングにおける一貫性への指摘等は、次回コンペティションを開催することがあれば、意識してデータを準備したいと考えています。

[002]Competition-3

競技形式×集合知というコンペティションならではのメリットを知った。

入賞者のモデルもアプローチの仕方が様々でとても面白かったですね。分類の処理スピードではなく画像データの読み込みを工夫したり、画像を10分の1以上に圧縮したりと、我々単独では思い付かないような工夫がたくさん凝らされていて、多くの気付きをもらいました。精度や速度をわずかでも向上させるべく、こうした細かな部分まで工夫を凝らしたアイディアが集まるのは、コンペティションならではの魅力だと感じました。多くの参加者がいてこその幅広いアプローチだと思いますし、ここまで追求するのは競技形式だからこそ。コンペティションを活用した研究推進も一つのオプションとして有効であることを確認できました。 今後の展望については、もちろん今回応募いただいたモデルの中で優秀なものを搭載することも検討してはいます。ただし、機械学習は日夜進歩を続けていますから、必要に応じてアップデートは必要かもしれません。また、最終的な目標は自律走行の実現。そのための手法は画像処理に限りません。レーダーによる障害物探知等の他の手法との併用も視野に入れながら自律走行を実現できればと思っています。

コンペティションを検討している団体へのメッセージ

特に機械学習の領域においては、よほど優秀なエンジニアやデータサイエンティストが十分に在籍している団体でなければ、完全な内製化は難しいと思います。他分野でも、オープンイノベーションはトレンドになりつつある。コンペティションという手法は、このオープンイノベーションとも相性がいいので、ぜひ一歩踏み出していただければと思います。 <防衛装備庁のコンペティションの詳細ページはこちら>

この記事をシェアする