サイト内検索

はじめに

近年、人が担っている作業をヒューマノイドロボットで代替したいというニーズが高まっています。

ヒューマノイドロボットは人に近い身体構造を持つため、搬送、仕分け、組立て、検査といった作業への応用が期待されています。しかし、ロボットのハードウェアだけを用意しても、目的の作業を自律的におこなうことはできません。ロボットを自律的に動作させるには、周囲の状況を認識するためのカメラ映像と、指示に応じて身体を制御するAIモデルが必要です。その「脳」に相当する技術の1つが、NVIDIA Isaac™ GR00T N1.5です。

マクニカでは、ヒューマノイドロボットやロボットアームを活用したさまざまな動作検証をおこなっています。本記事では、比較的取り扱いやすい片腕ロボットSO-ARM101を使用した検証事例を紹介します。SO-ARM101を使用した環境では、ヘッドカメラとリストカメラを使用することで、NVIDIA Isaac GR00Tによる自律動作の一連のワークフローを確認できます。

NVIDIA Isaac GR00Tを活用したヒューマノイド検証ワークフロー

ここでは、NVIDIA Isaac GR00T N1.5(以降、GR00T)を使用したヒューマノイド検証ワークフローの全体像を紹介します。

 

① テレオペレーションによるデータセット作成

最初に、人間がロボットを遠隔操作します。この操作をテレオペレーションと呼びます。

実機環境を構築することで、実機からデータセットを収集することも可能です。今回はLeader ARMを使用してNVIDIA Isaac Sim™ 上の仮想ロボットを操作し、学習用データセットを作成しました。

 

② ファインチューニング

次に、AIモデルを構築するためのファインチューニングを実施します。

GR00Tは、あらかじめ大量の人間作業データやロボット動作データを学習した基盤モデルとして提供されています。そのため、使用するロボットやタスクに合わせて追加学習することで、比較的少量のデータセットでも新しいロボットや作業へ適応できる可能性があります。


例えば、以下の要素に応じて追加学習を実施します。

 ・ロボットの関節機構

 ・グリッパーの特性

 ・カメラ構成

 ・作業対象物

これらを調整することで、対象タスクへの適応性能の向上が期待できます。

 

③ 動作確認

ファインチューニング後のAIモデルを用いて、ロボットの関節を制御します。
今回はIsaac Sim上の仮想ロボットを制御し、自律動作を確認しました。

実現例①:シンプルなPick & Placeタスク

ここでは、GR00Tを使用した最初の検証事例として、「ペンを掴んでカップの中へ入れる」というシンプルなPick & Placeタスクの実現例をご紹介します。このタスクの目的は、高い汎化性能を目指すことではなく、まずは「GR00Tによる学習と自律動作を実現する一連のワークフロー」を確認することでした。そのため、データセット数をできるだけ削減できるように、対象物の配置条件を固定して検証を行いました。

対象物の配置条件

カップの位置は固定しました。また、ペンについても位置を固定し、向きのみを2パターン用意しました。

条件は以下のとおりです。

 ・カップの位置は固定

 ・ペンの位置は固定

 ・ペンの向きのみ2種類

実際の現場では対象物の位置が変化しますが、今回はまず、ロボットがタスクそのものを学習できるかを確認することを優先しました。

データセット作成

実機のテレオペレーション環境を使用してデータセットを収集しました。

オペレーターがLeader ARMを操作し、ロボットアームがその動作を追従します。その際、以下の情報を同時に記録します。

 ・ヘッドカメラ映像

 ・リストカメラ映像

 ・ロボットの関節情報

 ・グリッパーの状態

 ・タスク指示

収集したデータは、学習用データセットとして保存します。

今回の検証では、ペンの向き2パターンに対して約35件ずつ収録し、合計約70件のデータセットを作成しました。

GR00Tによる学習

収集したデータセットを使用して、GR00Tをファインチューニングします。

学習時には、カメラ映像やロボットの状態と、オペレーターが実際におこなった関節操作を対応付けて学習します。

つまり、「この映像が入力されたときに、どのような動作をおこなえば目的の作業を完了できるか」をモデルに学習させます。

自律動作の確認

学習完了後は、人による操作をおこなわず、ファインチューニング済みのGR00Tモデルのみで推論を実施します。

ロボットはカメラ映像からペンの位置を認識し、以下の一連の動作を自律的におこないます。

 ・ペンへ接近→ペンを把持→カップまで搬送→カップへ投入

今回の検証では、約70件のデータセットを使用して学習したモデルにより、ペンをカップへ投入する自律動作を確認できました。

実現例②:発展的なタスク

次に、より発展的なタスクとして、「複数のキューブのなかから指定された色のキューブを認識し、トレイに配置する」というタスクを試行しました。

今回のポイントは、単純なピックアンドプレースにとどまらず、汎化性能を意識している点です。

例えば、赤色のキューブをトレイに配置する学習を考えます。学習データにおいて、赤色のキューブとトレイが毎回同じ位置に置かれている場合、AIモデルがその環境だけを記憶してしまう可能性があります。


その結果、以下のような問題が発生します。

 ・キューブの位置が少し変わると失敗する

 ・トレイの位置が変わると実行できない


そこで今回は、公開サンプルを利用しながら、Isaac Sim上にテレオペレーション環境を構築しました。

作業台に複数のキューブを配置し、そのなかから指示された色のキューブを選択して、トレイに配置するタスクを実施しました。

さらに、プログラムによって対象物の初期配置を自動生成することで、多数の配置パターンを効率よく生成できることも確認しました。

 

AIモデル(GR00T)で自律動作を確認

Isaac Sim上でデータセットを作成し、GR00Tをファインチューニングした後、自律動作を検証しました。

今回の検証では、以下のプロンプトを使用しています。

 ”Pick up the red cube and place it in the tray”

この指示に従い、赤色のキューブを認識して把持し、トレイに配置する動作を確認できました。

 

まとめ

「NVIDIA Isaac Simでロボットを動かそう -セットアップ編 -」に引き続き、NVIDIA RTX PRO™ 6000 Blackwell Max-Q Workstation Edition 96GBを搭載したワークステーションROBODEVを使用し、Isaac Simを活用したデータセット作成からファインチューニング、自律動作確認までの一連のワークフローを検証しました。Isaac Sim上にデータセット作成環境を構築することで、実機やロボットアームが手元にない環境でも、以下の検討項目を事前に評価できます。

 
・必要なデータ数

・データのバリエーション

・カメラの最適配置

・タスク設計方法


また、シミュレーション環境では、キューブやトレイの配置、カメラ位置、照明条件、背景などをプログラムで自動変更できます。そのため、多数のバリエーションデータを自動生成する仕組みへ発展させることも可能です。

本記事が、ヒューマノイドロボットに興味をお持ちの方や、Physical AIの活用を検討されている方の参考になれば幸いです。
製品や技術に関するご相談、ご質問などがございましたら、お気軽にお問い合わせください。

お問い合わせ

関連ページ