2023年3月8日、第6回AIエッジコンテスト「RISC-Vを使用した自動車走行時の画像・点群データによる3D物体検出」コンペティションの表彰式が開催されました。当日は1位から3位までの上位入賞者と審査員特別賞の受賞者が表彰され、各入賞者による解法のプレゼンテーションが行われました。プレゼンテーション終了後には質疑応答も実施。革新的なAIエッジ技術の実現に向けて、大きな一歩となる素晴らしい表彰式でした。 コンペティション事務局の大渕氏による進行のもと、まずはコンペティション主催者である経済産業省・荻野氏と、東京大学・加藤准教授により、主催者挨拶が行われました。

▼動画はコチラ▼

2023年3月8日、第6回AIエッジコンテスト「RISC-Vを使用した自動車走行時の画像・点群データによる3D物体検出」コンペティションの表彰式が開催されました。当日は1位から3位までの上位入賞者と審査員特別賞の受賞者が表彰され、各入賞者による解法のプレゼンテーションが行われました。プレゼンテーション終了後には質疑応答も実施。革新的なAIエッジ技術の実現に向けて、大きな一歩となる素晴らしい表彰式でした。 コンペティション事務局の大渕氏による進行のもと、まずはコンペティション主催者である経済産業省・荻野氏と、東京大学・加藤准教授により、主催者挨拶が行われました。

主催者あいさつ

経済産業省 商務情報政策局 情報産業課 デバイス・半導体戦略室 室長 荻野 洋平 氏

「本日、このような会を開くことができたのは関係者皆様のご協力のおかげでございます。この場をお借りして心より感謝申し上げます。経済産業省では、数年前から国内の半導体製造に力を注いでいますが、その目的は半導体を量産することではなく、社会の中で半導体をうまく活用していくことです。そのためには、市場創出や半導体を活用する人材育成に取り組む必要がある。そうした背景のもと、今回のコンペティションを開催するに至りました。今回のコンペティションを通じて、参加者の皆様が半導体活用の新たな道を拓いていってくださることを期待しております。皆様のご活躍を、今後とも祈念いたします。」

東京大学大学院 情報理工学系研究科 情報科学科 准教授 株式会社ティアフォー 創業者兼最高技術責任者（CTO） 加藤 真平 氏

「こうして第6回を無事に開催することができたことを、とても喜ばしく思います。外からは見えない苦労も多い中、運営の方々が奔走してくださったことに感謝申し上げます。このコンペティションは、AIとエッジ技術の両方を扱える人材を育成することを主な目的にしています。これまでのAIはソフトウェアの要素が大きかったものの、今後実用化や量産化を進めていくためには、AIをエッジデバイスに実装することが必要だからです。そうした目的があるため、なかなか難易度が高いコンペティションになっていましたが、たくさんの方々に参加いただき大変嬉しく思います。来年度以降もこのコンペティションを開催し続け、より価値の高いコンペティションにしていけたらと考えています。」 その後、コンペティション事務局の大渕氏からコンペティション概要の説明が行われました。

コンペティション概要

コンペティション事務局 大渕 栄作 氏 「それでは、私から本コンペティションの概要について説明いたします。このコンペティションは過去5回にわたって開催しており、AIエッジ技術へのチャレンジに加えて、優れた技術や人材、アイデアの発掘を目指すコンペティションとなっております。今回のコンペティション概要について簡単に紹介すると、RISC-Vを使用した自動車走行時の画像・点群データによる3D物体検出がテーマになっています。インプットとしては、画像データに加えてポイントクラウドと呼ばれている点群データを使い、自動車や人などの物体検出を行うこと、そしてそのアルゴリズムをFPGAボードとRISC-Vを用いたボードで実装していくというものになります。 懸賞としては、完成度（定性）、精度（定量）、動作速度（定量）の総合点で評価した1位〜３位と、完成度重視の審査員特別賞、また教育効果の高い記事をブログ等でWeb上に執筆していただいた方に向けたWeb記事賞を設けました。応募の結果としましては、参加者は271名、精度評価投稿件数は41件、最終提出数は8チーム、Web記事は6チーム（27本）が集まりました。前回のコンペティションと比較するとおおよそ倍の数のチームが最終提出までたどり着いており、年々レベルが上がっているという印象を受けました。今回のコンペティションを開催するにあたって、多くの団体様に協賛・後援いただき、またアドバイザリーとして多くの方々にご意見をいただきました。この場を借りて感謝申し上げます。」

入賞者の発表

第1位 s.yamashita 氏

第2位 チームReivent Tech

第3位 Team_T-T

審査員特別賞 チームVertical Beach

入賞者の解法プレゼンテーション

入賞者の表彰が終わると、各入賞者による解法プレゼンテーションと質疑応答が行われました。最初にプレゼンテーションを行ったのは、審査員特別賞に選ばれたチームVertical Beachです。

審査員特別賞 チームVertical Beach

「第4回と第5回に引き続き、2名で参加させていただきました。先に最終成果物の概要について説明すると、点群物体検出アルゴリズムはPointpillarsを採用し、画像データは使わず全方位の点群データのみを使いました。ハードウェアの構成は、FPGAにはXilinx DPUとRISC-Vを載せています。入出力や全体の制御はPS側のARMコアで行っており、DNNのモデル実行をXilinx DPU、点群のVoxelize処理をRISC-Vで行っています。推論速度については、一つの点群データを読み込んでから物体検出の結果が出るまでに790msかかっており、悔しい結果となってしまいました。さらに、RISC-Vを使用すると動作速度が低下してしまうという本末転倒な仕様になってしまったことも心残りです。精度についても納得のいく結果とならず、0.2911でした。DPUのリソースが大きく制限されてしまったり、ハードウェア構成も非効率になってしまったりと問題点も多かったのですが、点群データの推論や学習を行うことが初めてだったため、データの可視化ツールを作成したり、OSS自動運転ソフトのAutoware/AWSIMと連携してシミュレータから点群データを取得したりなど、モデル以外の面でもさまざまな工夫や挑戦をすることができました。」 発表後には、以下のような質問が寄せられました。 視聴者からの質問：もっと時間があれば、試したかったことはありますか？ チームVertical Beachの回答：例え速度が遅かったとしても、KV260側からROSを動かし、連携するところまで試してみたかったです。 視聴者からの質問：.AIのモデルにXilinxのサンプルを使ったとのことでしたが、どの部分をRISC-Vで動かしたのか、詳細を教えてください チームVertical Beachの回答：前半をPillar Feature Net処理を実装し、後半でBackboneとDetection処理してますが、さらにその前の処理をRISC-Vで行いました。 続いて、3位に入賞されたチームTeam_T-Tによる解法のプレゼンテーションと質疑応答が行われました。

第3位 チームTeam_T-T 「私たちTeam_T-Tは、自動運転向けのエッジAIを作る会社の同僚5人で取り組みました。まず、なぜこのコンペティションに参加したのかという背景からお伝えすると、車載ソフトウェアの開発において、ハードウェアの正確なシミュレーションが非常に重要になってきているためです。しかし、量産をする前に実際のプロセッサを用意するのは難しく、また汎用プロセッサを使うと速度が足りなくなってしまう。そこで、速く正確なシミュレータを作り出す技術を培うために、このコンペティションへの参加を決めました。作成したモデルとしては、三次元の特徴量を二次元の特徴量に変更できるPointPillarsを採用しました。また、トレーニングデータセットのアノテーションポリシーが一貫されていなかったため、オートラベリングという手法を用いて対処しました。その結果、性能を64.8%まで上げることができました。ハードウェアについては、かなり標準的な仕様になっています。推論には、PointPillarsのネットワークを5つのモジュールに分割して実装を進めました。最終的な推論速度は、714msという少し心残りのある結果となりました。今後としては、速度の向上に挑戦すると同時に、実際の業務にも今回の学びを活かしていきたいです」 発表後の質疑応答では、以下のような質問が寄せられていました。 視聴者からの質問：オートラベリングがアノテーションにかなり効いたという印象があるのですが、モデルの軽量化などにも寄与しましたか？ チームTeam_T-Tの回答：軽量化にはあまり関係ないのですが、サンプルのコードがリッチすぎたため、それを削る際もオートラベリングを活用しました。 視聴者からの質問：アーキテクチャを選択する際に、機能分割についてチーム内でどのような議論がされていたのか教えてください チームTeam_T-Tの回答：実を言うと、本当に最適なアーキテクチャかどうかは分からなかったため、学習を行いながら常に議論し続けました。そもそも分割する必要があるのかということもよく議論していました。 続けて、第2位に入賞されたチームReivent Techによる解法のプレゼンテーションと質疑応答が行われました。

第2位 チームReivent Tech 「私たちは2名のチームだったのですが、ソフトウェア側とハードウェア側の完全な分業体制で進めました。システムの概要を説明すると、まずデバイスに関してはコンテストで推奨されていたKV260を採用しました。アルゴリズムの根幹は、コンペティションへの参加を決めたのが遅く開発期間が約2ヶ月しかなかったため、自前で用意するのを断念しXilinxのDPUを使用しました。このDPUをARM側から制御し、前処理と後処理の一部をRISC-Vにオフロードするという戦略をとりました。入力データについては、精度と実装の簡潔さのバランスを考慮し、結局点群データのみを使用しています。ネットワーク構成にはU-Netの構造を採用し、Inverted ResBlockやSepConvを積極的に使うことでモデルを軽量化することができました。ハードウェアについてはARMを中心にし、DPUとRISC-Vを周りにつなぐという構成になっています。特に工夫したのは、実機で動作するアプリケーションの部分です。デバッグが簡単なので初期段階はPythonで書いた後、高速化するためにすべてC++で書き直しました。また回転行列の演算が重い部分は近似処理をして演算の回数をほぼ0にすることができました。心残りはたくさんあるのですが、十分に高速化できなかったというのが一番の心残りです。ただそれを解決するためには抜本的なモデル改良が必要なため、今度は独自のプロセッサや独自のRISC-Vコアを作ってみたいです。」 発表後には、以下のような質問が寄せられました。 視聴者からの質問：RISC-Vコアでプリプロセスされたとのことでしたが、ARMで処理した方が実際は早かったということはありませんでしたか？ チームReivent Techの回答：その通りです（笑）。詳しくは覚えていないのですが、RISC-Vを使わずにすべてARMで処理したところ、300msくらいになったかと思います。 視聴者からの質問：約2ヶ月ほどしか費やせなかったとのことでしたが、もっと時間に余裕があれば試してみたかったことはありますか？ チームReivent Techの回答：たくさんありますが、とくに独自のRISC-Vコアや拡張命令はぜひやってみたかったです。 最後にプレゼンテーションを行ったのは、見事第1位に輝いたs.yamashita氏。優勝を飾った解法について、丁寧にご説明いただきました。

第1位 s.yamashita 氏 「私は、TensorFlow Liteのdelegate機構を用いたアクセラレータと、rv32emcというRISC-VをRTLで実装しました。このアクセラレータは、第5回に用いた出力チャンネルを4並列で実行できるよう修正しました。その結果、MACの並列数を128並列にすることができました。モデルの仕様変更をする一方で、ハードウェアが複雑になりすぎてしまわないかという懸念があったのですが、ソフトウェアでFilter係数の並び替えを行うことで回避できました。RISC-Vについては、第5回で用いたRTL記述のものを使っています。ただ、前回作成したものをそのまま流用したわけではなく、新たにFPUを追加してさらに精度を向上させました。RISC-Vでは、アクセラレータの実行制御と、LiDARからBEV画像への変換処理を行ったため、BEV画像処理と推論処理を並行処理することができました。BEVの画像サイズを320×320、448×448、608×608の3通りで学習させたところ、推論速度は320が418ms、448が803ms、608が6680msという結果になりました。今後の展望としては、アクセラレータにdelegateする演算を増やしたいです。これまではConv2Dに限ってきましたが、ハード規模の増大を抑えることができる演算がないか模索してみます。」 発表後には、以下のような質問が寄せられました。 視聴者からの質問：RISC-VにFPUを追加されたとのことでしたが、FPUだとfloatingの演算は何クロックほど必要でしたか？ s.yamashita氏の回答：乗算は2クロック必要だったと記憶しています。ただ、floatingの場合は加減算の方が苦労しまして、パイプラインの中でフォワーリングなどの処理を行った結果、3クロックほどかかりました。 視聴者からの質問：Conv2Dのアクセラレータの演算速度はどのように決めたのでしょうか？ s.yamashita氏の回答：ネットワークはint8で整数化しているのですが、これはTensorFlowのリファレンスモデルを参考に決めました。 以上で、全ての解法プレゼンテーションが終了。その後、ソニーセミコンダクタソリューションズ株式会社 松本氏と、東京工業大学 工学院情報通信系 中原教授、株式会社Rist 小嵜氏の3名による講評が行われました。

ソニーセミコンダクタソリューションズ株式会社 システムソリューション事業部 Distinguished Engineer 松本 浩彰 氏 「入賞された皆様おめでとうございます。初めて参加してくださった方も、毎回参加してくださっている方も、すべての参加者の方々に心より感謝申し上げます。FPGAのスキルやソフトウェアのノウハウなどさまざまな知識が必要とされるため、今回もかなりハイレベルなコンペティションだったと思います。その中で、LiDARのみを使ったり、座標変換をして中心座標を求めたりなど、色々な工夫が見られて驚きました。AIについては、昨年頃から言語予測や画像、音楽生成など大規模なネットワークが注目を集めていますが、課題を解決していくためには、演算性能や消費電力などの制約がある中でも高い機能を追求していくことが重要になっていくはずです。そうした意味で、今回のコンペティションは非常に価値の高い取り組みだったのではないかと思います。参加いただいた皆様の、今後のご活躍を期待しております。」

東京工業大学 工学院情報通信系 中原 啓貴 准教授 「限られた時間の中で、各々が工夫を凝らしていることが伝わってくる素敵なコンペティションだったと思います。全体として非常に完成度が高く、特にハードウェアのプラットフォームがよく作り込まれていたのが印象的でした。これまでの6回の開催を通じて、参加者の方々のレベルが高まってきたように感じます。今回の解法はオープンソースで公開されるとのことなので、ぜひ他の参加者の方々の解法を見ていただき、ご自身の技術向上に役立てていただけると幸いです。」

株式会社Rist Deep Inspectionチーム AIエンジニア 小嵜 耕平 氏 「非常に面白い解法を知ることができ、1人のエンジニアとしてとても楽しませていただきました。参加者の方々には深く御礼申し上げます。今回のコンペティションで高い定量評価を得るためには、バリデーションセットを分割して学習することが重要だったのではないでしょうか。この点に注目して学習モデルを作成していた解法も多く、非常に素晴らしかったと思います。また、データをしっかり観測し、Psuedoラベリングやオートラベリングによって質の異なるデータを活用していた解法もあり、とても感心しました。精度や速度以外の観点で非常に優れたアイデアもあったので、ぜひお互いの解法や工夫点について共有し合い、次につなげていただけたら幸いです。」 最後に、カーネギーメロン大学 金出教授より総評をいただき、閉会となりました。

カーネギーメロン大学 金出 武雄 教授 「ご入賞された方々、おめでとうございます。私は第1回からこのコンペティションに携わっていますが、回を重ねるごとに課題が本格的なものになってきているという印象を受けています。特に今回は、実際に使われているLiDARのデータを使って物体認識をするという非常に現実的な問題を扱っており、その課題達成率が高かったことも素晴らしかったと思います。「コンペティションは根本的な進歩にはつながらない」なんてことを言う人もいますが、私はそうは思いません。技術者が競い合うことで、リファレンスを生み出すことができる。このリファレンスがあるからこそ、さらに精度や速度を向上させていったり、社会実装の方法がひらめいたりなど、技術の発展につながっていくと信じています。また、技術の発展のみならず、リファレンスを見て「自分もやってみよう」と挑戦する人が増えれば、人材の育成にもつなげることができる。そうした意味で、コンペティションはとても重要な役割を担っているのだと考えています。改めて、参加者の方々には尊敬の意を示したいです。心から御礼申し上げます。」

まとめ

第5回に引き続きRISC-Vの使用が条件である他、点群データの活用など新たな課題もある中で、妥協せずに最後まで向き合い続けた参加者の方々に、心からの大きな拍手を送りたいです。金出教授の総評にもあったように、今回の結果がさらなる技術発展につながり、またAIエッジ人材の育成も進んでいくことを願っています。 <第6回AIエッジコンテスト「RISC-Vを使用した自動車走行時の画像・点群データによる3D物体検出」コンペティションの入賞者レポートはこちら>