Google представила AI-агента Project Astra, який читає екран смартфона

Ця технологія дозволяє взаємодіяти з нейромережею у форматі телефонного дзвінка. Після активації користувачі можуть ставити AI будь-які питання, пов'язані з тим, що відображається на дисплеї, у тому числі через камеру.

Судячи з демонстраційних відео, бот здатний підтримувати повноцінну бесіду, запам'ятовуючи попередні питання та враховуючи контекст при відповідях. Наприклад, можна відкрити модель штанів, що сподобалася, на маркетплейсі та запитати, яка футболка найкраще до них підійде. Відповідь буде докладною, аргументованою та корисною. Потім можна підібрати куртку, взуття тощо.

Ця функція стане частиною Gemini Live і, ймовірно, на початковому етапі буде доступна лише передплатникам.