Искусственный интеллект научили описывать увиденное человеческим языком

На днях учёные из Стэнфорда представили свою разработку NeuralTalk, способную описывать человеческим языком то, что она видит.

Впервые NeuralTalk была упомянута ещё в прошлом году. Разработкой этой системы руководят директор Лаборатории искусственного интеллекта при Стэнфордском университете Фей-Фей Ли, а также его выпускник Андрей Карпатый. Программное обеспечение, написанное в рамках проекта, способно проанализировать комплексное изображение и точно определить, что на нём происходит, описав всё увиденное разговорным человеческим языком.

К примеру, если на фото изображён мужчина в чёрной футболке, играющий на гитаре, то искусственный интеллект так и опишет увиденное: «мужчина в чёрной футболке играет на гитаре». Разумеется, работа всё ещё продолжается, так что алгоритм довольно часто допускает забавные ошибки, но без этого в современной науке никуда. Вы можете увидеть чуть ниже, как выглядит интерфейс тестовой версии алгоритма. ИИ отыскивает на изображении отдельные объекты, события или действия и назначает им отдельные слова, в итоге складывая их в осмысленное предложение.

При этом различными цветами отмечаются объекты, в правильности распознавания которых искусственный интеллект уверен в той или иной мере. Вы можете самостоятельно увидеть процесс обучения искусственного интеллекта на официальном сайте исследователей.

NeuralTalk использует для своей работы нейронную сеть. Алгоритм сравнивает новое изображение с уже виденными ранее фотографиями, подобно маленькому ребёнку осваивая новые слова и запоминая образы объектов. Учёные раз за разом объясняют искусственному интеллекту, как выглядит кошка, гамбургер или ботинок, а NeuralTalk запоминает всё это и практически безошибочно опознаёт эти образы в дальнейшем.