Apple розповіла, як вчить роботів підглядати за людьми, щоб отримувати нові знання

У дослідженні під назвою Humanoid Policy ~ Human Policy вони розповіли, як це працює.

Суть у тому, щоб показати роботу, як люди роблять різні дії, наприклад, беруть предмети від першої особи. Для цього зібрали величезний набір даних: 25 тисяч відео від людей та 1,5 тисячі від роботів. Їх назвали PH2D і використали, щоб навчити штучний інтелект, який потім керує справжнім гуманоїдним роботом.

Навчати роботів тільки на їхніх власних діях довго і дорого. Тому вчені вирішили використати відео, де люди показують, як щось робити. Це виявилося простіше та дешевше.

Для запису відео використовували Apple Vision Pro: спеціальний застосунок знімав рухи рук та голови через камеру пристрою. Щоб зробити метод доступнішим, вчені також надрукували на 3D-принтері кріплення для камери ZED Mini Stereo, яку можна прикріпити до інших гарнітур, на кшталт Quest 3.

Люди рухаються швидше за роботи, тому відео з людьми уповільнювали вчетверо, щоб робот міг зрозуміти та повторити рухи.

Головний герой дослідження — модель HAT (Human Action Transformer). Вона навчається на відео від людей та роботів одночасно, не поділяючи їх. Це робить робота розумнішим і здатнішим виконувати навіть нові завдання, яких він раніше не бачив.