NXP、組み込みVLAロボティクスパイプラインの最適化を詳説
NXPが、i.MX 95 SoCなどの組み込みプラットフォームへのVision-Language-Actionモデルのデプロイに関するガイドを公開。レポートでは、データセットの記録、ACTおよびSmolVLAポリシーのファインチューニング、リアルタイムのレイテンシ制約を満たすための非同期推論の最適化に関するベストプラクティスを詳述している。
NXPの研究者らは、リソースに制約のある組み込みプラットフォーム上でVision-Language-Actionモデルを実行するために必要なシステムエンジニアリングの詳細を記載したテクニカルガイドを公開した。 このドキュメントでは、高忠実度ロボットデータセットの作成、ACTおよびSmolVLAアーキテクチャの微調整手法、およびi.MX 95 SoCの特定の最適化について説明している。 著者らは、非同期制御ループを実現するには、単純なモデル圧縮ではなく、アーキテクチャ的な分解とレイテンシを意識したスケジューリングが成功の鍵であると強調している。