NVIDIAのAlpamayoで自動運転車モデルを閉ループで再訓練

自動運転車のトレーニングと運用のギャップ

自動運転車（AV）の開発には、トレーニングと実際の運用の間に存在する重要なギャップを埋める必要があります。特に、視覚・言語・行動（VLA）モデルは、複雑な運転シーンを分析し、より豊かな中間推論を行うことが求められますが、これまでの多くはオープンループでトレーニングされてきました。

NVIDIA Alpamayoの役割

NVIDIA Alpamayoは、AIモデル、シミュレーションフレームワーク、物理AIデータセットを含むオープンポートフォリオであり、AV開発におけるこの課題に対処します。特に、AlpaSim AVシミュレーションプラットフォームとAlpaGym閉ループトレーニングフレームワークが含まれています。

AlpaGymを用いた閉ループ強化学習

AlpaGymでは、閉ループ強化学習（RL）を用いて、オープンループで初期トレーニングされたポリシーを改善できます。これにより、モデルはシミュレーション内での自身の行動の結果から学習し、運転ポリシーの精度を向上させることができます。

AlpaGymの導入と設定

AlpaGymを導入するには、Alpamayoからチェックアウトし、ネイティブなCUDA依存関係とRedisをホストにインストールします。Python環境はuvで管理され、適切なDockerfileも提供されています。Hugging Faceの認証が必要で、シーンアーティファクトをダウンロードします。