VLA模型技术代码调研学习 [VLA]
摘要
对 OpenVLA、LeRobot (diffusion+π₀)、PyTorch 版 openpi 和 jax 版 openpi 等主要的 VLA 代码库进行阅读学习。
学习路径: PyTorch 框架的自回归(OpenVLA)和流匹配模型(LeRobot-π₀、openpi_pytorch)→ jax 框架基本学习 + PyTorch框架对比实现 → jax 版本 openpi 官 ...
OpenVLA,pi_0,pi_0-fast论文精读 [VLA]
OpenVLA
OpenVLA: An Open-Source Vision-Language-Action Model
OpenVLA是首个完全开源的高性能VLA模型,提供了包括模型权重、训练代码和微调教程在内的全套工具链,极大地促进了VLA研究的透明度和可复现性。
OpenVLA-7B 在参数量远小于之前的闭源RT-2-X-55B,但在涵盖多种机器人和29个任务的综合评估中,其绝对成功 ...