Apple представила новий метод навчання гуманоїдних роботів

Новий метод був представлений у дослідженні, опублікованому через тиждень після анонсу нейромережевих технологій Matrix3D та StreamBridge. У документі підкреслюються обмеження існуючих методів, у яких навчання роботів ґрунтується лише на їхніх власних діях. Такий підхід потребує дорогого обладнання для телеуправління та погано масштабується.

Методика PH2D пропонує рішення: вона поєднує поведінкові дані людей і машин, що робить процес менш витратним та гнучким. Для отримання даних використовувалися доступні гарнітури.

Apple Vision Pro застосовувалася в обмеженій конфігурації — задіялася лише одна нижня ліва камера, а ARKit реєстрував рухи голови та рук. В якості альтернативи використовувалася Meta Quest із підключеною стереокамерою ZED Mini. Учасники експериментів з цими пристроями виконували базові дії, такі як захоплення об'єктів, їх підйом та перелив рідин, супроводжуючи все голосовими командами. Для підвищення точності навчання проводилося за уповільненими відеозаписами.

Об'єднання різноманітної інформації — від людини і робота — виконувалася за допомогою архітектури HAT (Human-humanoid Action Transformer). Ця модель інтерпретує дані з обох джерел та будує універсальну стратегію управління. Згідно з результатами дослідження, роботи, навчені за допомогою PH2D, показали на 15% кращу результативність при виконанні вертикального захоплення об'єктів порівняно з роботами, навченими традиційним способом.

Хоча PH2D може значно прискорити розробку таких пристроїв, на травень 2025 офіційної інформації про терміни їх виходу від Apple не надходило.