Real2Sim2Real становится одной из ключевых идей современной робототехники

Оригинал опубликован Steven Cheng в X.

Real2Sim2Real сегодня становится одной из самых важных идей в робототехнике. Причина в фундаментальном узком месте отрасли:

• данные из реального мира дороги, собираются медленно и связаны с рисками;
• симуляция масштабируема, но неточна;
• для масштабирования интеллекта нужны и точность, и большой объём данных.

Real2Sim2Real (R2S2R) становится мостом между этими мирами.

Он замыкает цикл:

Real → Sim → Real

Вместо того чтобы полностью доверять симуляции или полагаться только на реальные данные, подход постоянно использует реальные данные, чтобы исправлять и улучшать симулятор, а затем применяет улучшенный симулятор для масштабирования обучения.

🧠 Что на самом деле означает Real2Sim2Real

Традиционный Sim2Real:

обучить в симуляции → развернуть в реальности.

Проблема: разрыв между симуляцией и реальным миром ломает политики управления при переносе на настоящих роботов.

Real2Sim2Real переворачивает логику:

1. Собрать небольшой объём данных из реального мира.
2. Восстановить или откалибровать симуляцию по реальности.
3. Масштабно обучать в улучшенной симуляции.
4. Развернуть на реальном роботе.
5. Возвращать новые сбои обратно в симуляцию.

Так получается самосовершенствующийся цикл для робототехники.

🔁 Почему этот цикл важен

Потому что он решает ключевое противоречие робототехники:

• реальные роботы — высокая достоверность, низкая масштабируемость;
• симуляторы — высокая масштабируемость, низкая достоверность.

R2S2R превращает симуляцию во что-то уже не статичное.

Она становится:

системой, которая непрерывно учится реальному миру.

🧪 Ключевые open-source направления

1. 3D-реконструкция → симуляция: современный доминирующий тренд

Проекты вроде:

• DISCOVERSE;
• RoboGSim;
• ROSE.

Эти системы используют:

• 3D Gaussian Splatting;
• нейронную реконструкцию сцен;
• преобразование видео в среды, готовые для физической симуляции.

По сути, они превращают наблюдения реального мира в обучаемые симуляторы.

👉 Сейчас это самое быстрорастущее направление.

2. Идентификация системы: классический инженерный путь

Проекты вроде:

• PACE Sim2Real и методов в стиле ETH Zurich.

Они фокусируются на:

• оценке трения;
• моделировании приводов;
• калибровке динамики.

Вместо восстановления сцен они задают вопрос:

«Как настроить физические параметры так, чтобы они соответствовали реальности?»

Это более традиционный подход, но он всё ещё широко используется в роботах с ногами.

3. Открытые платформы Sim2Real: инженерный стек

Примеры:

• Open Sim2Real — академические платформы;
• экосистемы ROS2 + Gazebo / Isaac Sim.

Они предоставляют:

• стек управления роботом;
• симуляционные среды;
• интерфейсы для реального оборудования.

Их в основном используют для reinforcement learning и экспериментов с управлением.

⚡ Большой сдвиг, который происходит сейчас

Real2Sim2Real эволюционирует во что-то более крупное:

1. От mesh-симуляции → к нейронной симуляции.

Gaussian Splatting заменяет вручную построенные миры.

2. От статичной симуляции → к самообновляющейся симуляции.

Симуляторы больше не фиксированы — они развиваются вместе с реальными данными.

3. От Sim2Real → к world models.

Некоторые лаборатории вообще обходят симуляцию и движутся к:

изучению физики как модели мира.

🧩 Главный вывод

Real2Sim2Real — это не просто техника.

Это переход:

от «обучения роботов в симуляции»
к «созданию систем, которые непрерывно согласуют симуляцию с реальностью».

Именно поэтому подход становится центральным для:

• гуманоидной робототехники;
• VLA-моделей (Vision-Language-Action);
• embodied AI-систем;
• роботических агентов общего назначения.

Если этот цикл удастся стабилизировать в масштабе, узкое место робототехники сместится:

от «сбора данных» → к «моделированию мира».

И это меняет всё.