巨大な荷物を運ぶクレーンは工事現場や建設現場になくてはならない存在だが、一方で解決が待たれる課題も山積している。クレーン操縦には高い技術が必要とされるが、近年は後継者不足により熟練オペレーターが減少し、人為ミスによるクレーン転倒などの重大事故も発生している。クレーン操作を自動化することで、これらの課題を速やかに解決し、人の力を借りずにクレーンを扱うことができる未来を実現したい。そんな主催者の想いのもと、本コンペティションが開催される運びとなった。 このコンペティションで見事1位に輝いたのが、チームnssol。日鉄ソリューションズ株式会社の応用研究開発部隊であるシステム研究開発センターの研究員として活躍する4名が、どのような経緯でこのコンペティションに参加することを決意し、なぜ1位を獲得できたのか。取り組みの過程や、チームプレーならではのアプローチについてお話しいただいた。

▼動画はコチラ▼

日頃の研究成果を現場ビジネスに適用する、参加を決意

shun27411：最初は、私個人で今回のコンペティションに参加していました。強化学習は当社としても着目している技術領域で、この技術を活用したソリューションのニーズが高まっていることもあり、私も一人の研究員として知見をより深めていく必要があると感じていたのが参加の大きな理由です。ただ、一人では最後までやりきるモチベーションを維持できるかどうか不安があり、せっかくなら誰かと一緒に取り組みたいと考え、社内でメンバーを募りました。その呼びかけに集まってくれたのが、私と同じく以前から強化学習の領域に興味を持っていた3人でした。 chimuichimu：強化学習は、最適な行動選択のルールを設定することよって複雑な課題を解決することに向いています。今回のコンペティションの課題であるクレーンの自動操縦は、吊り荷を的確に目的地に運ぶというゴールは決まっている一方、どうクレーンを動かすかというルールは決まっていないという点で、まさに強化学習に関する研究知見が実際の現場に生かせる領域です。そのため、shun27411さんから案内があった際に興味をそそられ、一緒に参加することを決めました。 aras：私は以前からshun27411さんやchimuichimuさんと一緒に強化学習について学ぶ社内プロジェクトに参加していました。そんな中、shun27411さんがメンバーを募集しているのを知り、自分も何か貢献できればと思い、参加しました。 yumyumguppy：強化学習の知見を深めたい思いは、全員に共通していましたね。また、当社の特徴として業務領域に関連するコンペティションへの参加は、業務時間内での稼働が許可されていることもあり、それが参加の後押しにもなりました。

現実の課題と蓄積されたノウハウを理解し、技術での解決を目指す。

shun27411：自動操縦に強化学習を活用したいと思いつつ、メンバーは誰もクレーン操作の自動化にはどういった課題があるのかについて知見がほとんどありませんでした。そのため、まずは文献や動画といった資料からクレーンがどう操縦され、吊り荷を運んでいるのかについて具体的なイメージを全員が持つことから始めました。 yumyumguppy：熟練のオペレーターの方々がどのようにクレーンを操作しているのかを実際の動画で観察することは多くの発見につながりました。特に、熟練者によるクレーン操作には私たちの想像をはるかに超えた繊細さがありました。彼らは地面の歪みやアームの位置、風の強さなど、数多くの情報を考慮し、その時々の状況に合わせて微調整を繰り返して操作する必要があるのです。この発見から、単純な強化学習の適用では学習がうまくいかない可能性があると考えました。強化学習は考慮すべき情報が多くなるほど行動の最適化が難しくなってしまうためです。 chimuichimu：yumyumguppyさんが言ったように、最初にクレーンの操作方法について理解を深めたことで進め方のヒントを得ることができました。今回は出力するレバー値の変数が連続値でしたので、何らかの制限をかけないとエージェントがレバー値を急激に変化させてしまい、クレーンの動きが大きくなり吊り荷の不安定さが増してしまう課題がありました。この課題の解決に役立ったのが、熟練オペレーターのレバー操作方法でした。彼らはレバーを大きく動かすのではなく少しずつじわじわと操作することで、加速や方向転換といったクレーンの動きの変化を滑らかにし、吊り荷の揺れや不安定さを軽減していました。その熟練者のレバー操作を参考にし、アルゴリズムをレバーの動き幅に制限をかけて調整してみたところ、吊り荷の安定性の向上に寄与させることができました。 aras：クレーンシミュレータを動かす際も、事前にクレーン操縦の知見を得てから取りかかったため、シミュレータの操作から実際のクレーンの動きを具体的にイメージすることができました。こうした技術的知見に留まらず、具体的な適用場面についての知見もチーム全員で共有しながら進められたのは、このチームの強さだったと思います。

チーム連携から生まれた検証の幅と深さが、優勝につながった。

shun27411：進める中で特に重要視したのは、アルゴリズムの汎用性です。コンペティション開催中に評価されるデータは全評価対象データの半分ほどでしたので、終了後に評価される残りのデータがどのような内容であっても安定した精度が出るようにデータをランダムに何度も動かして、結果にフィットしたものを抽出していきました。ただ、この抽出作業に必要となる統計的な処理はモデル精度向上そのものには寄与しません。そうした処理はどんどん自動化することで、自分たちが解くべき課題に集中して時間を割くことができました。 aras：shun27411さんが言うように、どのようなデータにも対応できる汎用性のあるアルゴリズムを組み立てられたことが今回一位を獲得できた一番の理由だと思います。途中の順位に一喜一憂せず手元のデータを信じ続けたからか、最終日近くに順位をあげることができました。 chimuichimu：また、メンバーそれぞれが異なるアプローチをとって、検証の幅も出しながら進めていけたことも結果に結びついたのかもしれません。 yumyumguppy：そうですね。それぞれの検証で得た知見を週一回のミーティングで共有し、次にやるべきことを分担したことで、常に課題を整理し、明確に意思決定がされていました。

1位という結果に満足せず、更なる成長を。

aras：今回は１位を獲得できましたが、もっとこうすればよかったなと反省点がいくつも浮かんできます。例えば、揺れを抑えるためにクレーンの動かし始めの値を調整することに重きを置いたのですが、他の入賞者の方の発表を聞いて、動かし終わりの揺れを抑えることに時間を割けば、もっと高いスコアを出すことができたのではないかと思います。 yumyumguppy：私はこのコンペティションに参加して、実際に世の中で役立つものを生み出すことの難しさを痛感しました。数値には表れないワイヤーのたわみや地盤の傾きなど、机上の空論ではなく実世界の様々な揺らぎの要素に目を配らないといけないと分かりました。 chimuichimu：時間さえあれば、強化学習の他のアプローチももっと試してみたかったです。模倣学習を用いて、クレーンをうまく動かすことができるエージェントをお手本にして学習させるなど、強化学習のより深い領域までチャレンジできていれば、また違った結果になっていたのかなと思います。 shun27411：反省点や、今後挑戦したいことはいくつもありますが、今回実際にクレーンシミュレータを触りながら取り組むことができたのは、大きな財産になりました。当社内でも今後シミュレータに力を入れていきたいと話が出ているので、今すぐ今回の知見が活かせなくても、いずれ必ず役立つ日が来るだろうと確信しています。

コンペティション参加を検討している方へのメッセージ

chimuichimu：コンペティション参加機会が増えたことで、コンペティションへの参加のハードルが低くなってきていると思います。時間をとられること以外に参加のデメリットはないので、まずは参加してみてはいかがでしょうか。 yumyumguppy：今回のように高い精度のシミュレータを使用することができるのがコンペティションの魅力の一つでもあるので、興味ベースで参加してみると、最後まで続けることができるのではないかと思います。 aras：コンペティションでは、社内の人しか見ることができない貴重なデータを扱うことができます。それもワクワクするポイントですよね。とりあえず参加ボタンを押してみるところから始めてみるといいかもしれません。 shun27411：モチベーションを保つ他の方法として、私たちのようにチームで参加するのもおすすめです。もしチームを組む相手がいない場合でも、自分が参加しているコンペティションについて周りに話してみると、意外と興味を持って聞いてくれることもあります。一人で最後までやり切ることが難しくても、勇気を持って周りの人を巻き込んでいくことが大切だと思います。 <株式会社タダノ主催「タダノ クレーン旋回操作最適化チャレンジ」の入賞者レポートはこちら>