От VLM к LocateAnything: соединяя язык и местоположение

Оригинал: https://x.com/stevencheng/status/2074800074597765436
Автор: Steven Cheng

Долгое время я исследовал, могут ли Vision-Language Models (VLM) решить одну из главных проблем робототехники:

Как роботу понимать не только то, что он видит, но и где именно находится объект?

Классические модели компьютерного зрения очень хорошо отвечают на вопрос:

«На изображении есть чашка».

Но роботам нужен другой ответ:

«Чашка, о которой говорит человек, находится вот здесь».

Разница кажется небольшой, но она фундаментальна.

Недостающий элемент VLM

Современные VLM стали невероятно мощными.

Они умеют описывать сцены, отвечать на вопросы и понимать сложную визуальную информацию.

Типичный VLM-пайплайн выглядит так:

Изображение
  ↓
VLM
  ↓
«На изображении чашка на столе»

Он понимает мир семантически.

Но для роботов семантического понимания недостаточно.

Роботу нужно знать не только, что существует.

Ему нужно знать:

• Где это?
• Как до этого дотянуться?
• Как с этим взаимодействовать?

Эта способность к grounding — привязке смысла к конкретному месту — всегда была одним из недостающих звеньев между AI-восприятием и физическим действием.

LocateAnything: соединяя язык и местоположение

Недавно NVIDIA представила LocateAnything — полностью open-source проект, который, похоже, нацелен именно на этот недостающий слой.

Главная страница проекта: https://research.nvidia.com/labs/lpr/locate-anything/

Оригинальное видео

Идея проста:

Изображение
       +
«Найди красную чашку справа на столе»

        ↓

LocateAnything

        ↓

Bounding box

Вместо того чтобы просто понимать сцену, модель связывает инструкции на естественном языке с точными визуальными координатами.

Для робототехники это крайне важно.

Человек не говорит:

«Возьми объект класса №23».

Мы говорим:

«Возьми синюю чашку рядом с ноутбуком».

Роботам нужно понимать именно второй язык.

Техническая инновация: Parallel Box Decoding

Традиционные подходы к grounding в VLM часто обрабатывают координаты как генерацию текста.

Модель предсказывает:

x1 → y1 → x2 → y2

по одному токену за раз, примерно как при генерации предложения.

LocateAnything вводит Parallel Box Decoding (PBD).

Вместо последовательной генерации координат он рассматривает bounding box или точку как атомарную геометрическую единицу и предсказывает всю локацию целиком.

Преимущества:

• лучшая геометрическая согласованность;
• более быстрый inference;
• более высокая пропускная способность.

Это важный архитектурный сдвиг: от «описания местоположения» к «прямому предсказанию местоположения».

Почему это важно для робототехники

Будущий стек робота может выглядеть так:

Инструкция человека

«Принеси мне яблоко с кухонного стола»

          ↓

Vision-Language Model
(понимает задачу)

          ↓

LocateAnything
(находит объект)

          ↓

3D-восприятие
(переводит в координаты мира)

          ↓

Robot Policy
(планирует действия)

          ↓

Роборука
(выполняет)

LocateAnything находится ровно между:

пониманием мира

и

действием в мире.

Без точного grounding даже самая умная robot policy не сможет надёжно взаимодействовать с объектами.

LocateAnything против YOLO

Частый вопрос:

заменит ли LocateAnything YOLO?

Скорее всего, нет.

Они решают разные задачи.

YOLO по-прежнему отлично подходит для задач вроде:

• обнаружить отсутствующие винты;
• найти фиксированные компоненты;
• проводить высокоскоростную инспекцию на производстве.

Но представьте команду:

«Подними чашку кофе, которую я купил вчера, ту, что справа на столе».

Для этого нужны:

• понимание языка;
• идентичность объекта;
• пространственное рассуждение;
• визуальный grounding.

Традиционный детектор не решит это в одиночку.

Будущая система роботического зрения, вероятно, будет сочетать оба подхода:

                       Камера

                              |
             ---------------------
            |                     |
          YOLO             LocateAnything
        Быстро             Language Grounding

                   ---------------------

                       ↓

                 Мозг робота

Почему LocateAnything нужно больше железа?

YOLO относительно прост:

Изображение
 ↓
Детектор
 ↓
Bounding box

LocateAnything ближе к небольшой VLM:

Изображение + язык

        ↓

Vision Encoder

        ↓

VLM Backbone

        ↓

Grounding Decoder

        ↓

Bounding box

Ему требуется гораздо больше вычислений.

Для экспериментов реалистичная стартовая точка:

• RTX 3090 / RTX 4090;
• 24 ГБ VRAM;
• 32+ ГБ RAM.

Для реальных роботов более практичная архитектура выглядит так:

Робот

 ↓

Камера

 ↓

AI Workstation
(RTX 4090 / RTX 5090)

 ↓

LocateAnything

 ↓

Robot Controller

Робот отвечает за real-time control, а внешняя GPU-станция — за тяжёлый AI inference.

Это также текущее направление во многих продвинутых робототехнических платформах.

Почему не просто Jetson?

Edge-устройства вроде NVIDIA Jetson Orin отлично подходят для:

• YOLO;
• лёгких vision-моделей;
• управления моторами;
• обработки сенсоров.

Но запуск больших VLM-based grounding моделей в реальном времени всё ещё сложен.

Ближайшая архитектура, вероятно, будет такой:

тело робота + внешние AI-вычисления,

а не:

всё работает onboard.

LocateAnything и VLA

Главный тренд в робототехнике сегодня — VLA:

Vision-Language-Action models.

Цель:

Видеть → понимать → рассуждать → действовать

LocateAnything в основном решает вопрос:

Где?

VLA решает:

Как?

Полная система может выглядеть так:

Vision

 ↓

LocateAnything

 ↓

World Understanding

 ↓

VLA Policy

 ↓

Robot Action

Это не весь мозг робота.

Это критический слой восприятия.

Больший эффект: меньше программирования роботов

Традиционные роботы требуют сильно структурированной среды:

Pick Position:

X = 120
Y = 80
Z = 30

Каждый объект, каждое движение, каждый сценарий нужно программировать.

Будущие роботы должны работать иначе:

Человек:

«Подними ту красную коробку».

Робот:

• понимает инструкцию;
• находит объект;
• планирует движение;
• выполняет задачу.

Это переход от:

машин автоматизации

к

универсальным интеллектуальным роботам.

Оставшиеся сложности

LocateAnything решает одну важную проблему:

поиск цели.

Но роботам всё ещё нужны:

• 3D-понимание;
• физическое рассуждение;
• планирование манипуляций;
• выполнение длинных задач;
• надёжная генерализация.

По-настоящему способному роботу нужны:

Видение
+
Понимание
+
Рассуждение
+
Действие

LocateAnything — важный шаг в этом направлении.

Но это только одна часть пазла.

Финальные мысли

Последние месяцы я экспериментировал с VLM для роботического восприятия.

Главное ограничение всегда было одним и тем же:

VLM могли понимать изображения, но им было сложно точно локализовать объекты, на которые ссылается человек.

LocateAnything выглядит как слой, который закрывает этот пробел.

Ещё важнее то, что он отражает более широкий сдвиг:

роботы переходят от:

«Я могу обнаруживать объекты»

к:

«Я могу понимать мир, который описывают люди».

Будущее робототехники не должно требовать от людей учить язык роботов.

Мы должны просто сказать:

«Принеси мне чашку со стола».

А робот должен понять, какую именно чашку, где она находится и как её взять.

LocateAnything — один важный шаг к такому будущему. 🤖