エッジで動作するAIモジュールを搭載したドローンで、リアルタイムでの通信鉄塔のさび検知と映像伝送に成功

国立研究開発法人新エネルギー・産業技術総合開発機構
KDDI株式会社
株式会社アラヤ

国立研究開発法人新エネルギー・産業技術総合開発機構 (以下 NEDO) の「高効率・高速処理を可能とするAIチップ・次世代コンピューティングの技術開発」の一環として、KDDI株式会社 (本社: 東京都千代田区、代表取締役社長: 髙橋 誠、以下 KDDI) と株式会社アラヤ (本社: 東京都港区、代表取締役: 金井 良太、以下 アラヤ) は、端末 (エッジ) で動作する軽量な人工知能 (AI) モジュール (以下、AIエッジモジュール) を開発し、2022年12月21日、これを実装したドローンで通信鉄塔を点検する実証 (以下 本実証) に成功しました。
本実証では、ドローンが自律飛行して通信鉄塔を撮影し、映像データからAIエッジモジュールがリアルタイムにさびの検知を行えることを確認しました。また、4G LTEや5G通信を用いて、外部記憶装置やPCを経由することなくワンストップでクラウドへ検知データを自動アップロードできることを確認しました。

AIエッジモジュールを活用することで、今後は大量の撮影データの中からさまざまな異常が検知されたデータのみを抽出することができ、データのアップロードにかかる通信量を大幅に抑えることが可能となる見込みです。

■本実証について

1. 背景

ドローンは、バッテリー駆動のエッジ機器であり、電力量や計算リソースに制限があるため、高い精度を得るための大規模なAIモデルの実装が困難でした。AIモデル搭載のドローンを使用した屋外でのさび点検では、AIモデルを学習したデータの取得環境と実際に点検を行う現場環境とでの環境変動が大きいと、精度劣化が発生しやすくなる点が課題でした。また、ドローンでの点検撮影では、撮影データが高画質で枚数も多くデータ量が膨大となってしまうため、通信帯域が限られるモバイルデータ通信でのデータ連携に課題があります。
このような課題を解決するため、NEDOは、「高効率・高速処理を可能とするAIチップ・次世代コンピューティングの技術開発 (注1)」に取り組んでいます。その一環として、2018年からKDDIとアラヤは共同で、「AIエッジコンピューティングに基づくドローン制御技術」「5G通信環境によるエッジ・クラウド連携技術」などを統合した「AIエッジ統合制御システム (映像伝送＋AI)」の開発に取り組んでいます (図1)。

2. 概要

KDDIとアラヤは、AIエッジモジュールを開発し、本実証を行い、AIによるさび検知と、4G LTE・5G通信を用いたエッジ・クラウド間での映像伝送をリアルタイムで行うことに成功しました。
これにより、実際の事業領域においてもAIエッジモジュールを有効に活用できることが実証されました。今後、事業領域への社会実装を目指します (図2)。

3. 今後の展開

今回開発した技術は、さび検知以外のさまざまなAIモデルに応用可能です。具体的な社会実装・事業化に結びつく分野として、構造物のひび割れやボルトの緩みなど経年劣化によるさまざまな異常を発見する点検領域や、ドローンがリアルタイムに障害物を検知・回避しながら自律飛行する空撮や警備の分野などがあります。これらの実現に向けて、KDDIとアラヤは5G時代のドローン自律飛行におけるAIエッジコンピューティング技術の確立とエッジ・クラウド間でのデータ連携の社会実装を目指します。
またKDDIでは、今回の成果を用いて、2023年度中のサービスリリースを目標に、ドローンで撮影したインフラ設備の画像をクラウドへ集約させ、さまざまな異常をAIで検知・点検可能なシステムの開発を行っています。

本実証の成果詳細は別紙をご参照ください。

<別紙>

■本実証の成果 (詳細)

• (1)

  エッジで動作する軽量なAIモデルを開発し、AIエッジモジュールに実装

  今回、ドローンの撮影データから、さびの有無を画素単位で検知するAIモデルを軽量化するため、高精度な低ビット量子化技術 (注2) を開発しました。また、環境変動による精度劣化の影響を軽減するため、既知の環境で学習したモデルを少量の新規データ (従来データ量の10分の1未満) を使って環境適応させることが可能なFewShotドメイン適応技術 (注3) を開発しました。
  次に、カメラ撮影動画をリアルタイムにAI処理可能な推論パイプライン (注4) を構築し、今回開発したAIモデルをAIエッジモジュールに組み込みました。AIエッジモジュールには、産業用途に適したAIチップ (注5) タイプと、FPGA (注6) タイプの二種類のAIエッジモジュールを使用しました。

  低ビット量子化技術と、FewShotドメイン適応技術を用いてAIモデルを最適化した結果、4ビット量子化によりAIモデルのパラメータサイズを86％軽量化することに成功しました (図3-1)。また、既存学習手法を用いたソースドメインモデルでは11.2％の大きな精度 (注7) 劣化が起こってしまうところ、開発したドメイン適応モデルでは、目標である従来モデル比10％未満の3.6％の精度劣化に抑えることに成功し、実用的な精度でさびを検知できることを確認しました (図3-2)。

  

  <図3-1. 低ビット量子化技術評価結果>

  

  <図3-2. FewShotドメイン適応技術評価結果>

• (2)

  AIエッジモジュールを搭載したドローンのフライト実証に成功

  2022年12月19日から12月21日までの間、千葉県館山市のKDDI所有の通信鉄塔にてAIエッジモジュールを搭載したドローンのフライト実証を行い、リアルタイムに鉄塔のさびが検知できることを確認しました。
  エッジ側のAI処理モジュールとしてFPGAタイプを用いた場合は15フレーム毎秒 (fps: frames per second) (注8) でのAI画像処理を行うことが可能であり、飛行中であっても十分になめらかな映像をリアルタイムに処理することができます。またAIチップタイプを用いた場合には最大60fps程度でリアルタイム処理ができることを確認しています。
  AIエッジモジュールを用いることで、エッジ段階で大量の撮影データの中からさびが検知されたデータのみを抽出することができ、通信量を大幅に抑えることが可能となる見込みです。

  

  <図4. ドローン自動飛行撮影時のアプリ表示画面>
  (中下: 晴れ環境での撮影時画像、右下: ドローンのオートフライト状況の位置画像)

• (3)

  5G通信モジュールを介したエッジ・クラウド間の接続実証に成功

  5G通信を上空で利用するための本格的な制度運用開始に向けて、今回のフライト実証では、ドローンに搭載したAIエッジモジュールから4G LTE通信モジュールを用いて、撮影したさびの映像をクラウドへリアルタイムに伝送する検証を行い、成功しました。また地上にて5G通信での映像伝送が行えることについても確認できました。
  従来、点検分野での撮影データは容量が膨大であるという理由から外部記憶装置やPCを経由してクラウドへ手動アップロードしていましたが、今回の研究開発で開発したシステムを用いることで、4G LTE・5G通信を介しワンストップでエッジ・クラウド間のリアルタイム映像伝送を行うことが可能であることを実証しました。

• 注1)

  高効率・高速処理を可能とするAIチップ・次世代コンピューティングの技術開発

  • 事業名

    : 革新的AIエッジコンピューティング技術の開発/5G時代を見据えた高度自律的学習機能搭載のためのAIエッジコンピューティング技術の研究開発

  • 事業期間

    : 2018年度～2022年度

  • 事業概要

    : https://www.nedo.go.jp/activities/ZZJP_100123.html

• 注2)

  低ビット量子化技術
  AIモデル内部の演算ビット精度を小さくして、演算の入出力を細かい値から粗い値に近似することで演算負荷を低減する技術で、値が大きい方がモデルの表現力が増して精度も高まる傾向となりますが、演算負荷も高くなります。AIモデルの量子化では整数8ビットの量子化が一般的に使用されますが、本開発では整数8ビット以下でも精度劣化の小さい量子化技術を開発しました。

• 注3)

  FewShotドメイン適応技術
  機械学習モデルの学習において、十分な教師ラベルを持つドメイン (ソースドメイン) で学習した知識を、教師ラベルが十分にないドメイン (ターゲットドメイン) に適応することで、学習データ量が少ない (FewShotな) ターゲットドメインでも高い精度を実現する手法のことです。本開発では、少量のラベル付きデータ量が利用できる場合に有効とされる教師あり対照学習の手法に基づき、開発目標である、従来データ量の10分の1未満 (約20枚) の画像を用いてドメイン適応を実施しました。

• 注4)

  推論パイプライン
  NVIDIA社のJetsonNanoをホストデバイスとしてDeepStreamライブラリを動作させ、DeepStreamライブラリにAIエッジモジュールの推論処理を組み込んでいます。

• 注5)

  AIチップ
  AI処理を専用回路としてチップ実装したAIエッジモジュールのことです。AIエッジモジュールで主流な組み込みGPUタイプに比べて処理速度に優れる特徴があります。本実証ではHailo社のHailo-8を用いています。

• 注6)

  FPGA
  Field Programmable Gate Array (書き換え可能な論理回路デバイス) を搭載したハードウエア基板です。AIチップタイプ同様のAI処理専用回路を短TAT (Turn Around Time) に実装・開発できる特徴があります。本実証ではIntel社のArria10を用いています。

• 注7)

  精度
  モデル精度の評価値としてF値 (F-Score) を使用しています。正解と予測されたラベルが一致したものの割合を示す適合率 (Precision) と、正解が正しく予測された割合を示す再現率 (Recall) との調和平均で定義されます。

• 注8)

  フレーム毎秒 (fps: frames per second)
  1秒間に処理できる数量を示す単位です。本件では、カメラ入力した動画像に対してさび検知処理を1秒間に実行できる回数を示します。本開発では、カメラ入力した動画像に対してAIモデルを用いたさび検知処理を1秒間に実行できる回数を示します。