Нейросети учатся чему-то новому каждый день, и навыки, которые они приобретают, становятся все более изощренными. Совместный проект специалистов из Microsoft, университета Олбани и китайской команды JD AI Research позволил научить искусственный интеллект по текстовому описанию создавать рисунок.
То есть, нейросеть читает «кот играет с мячиком», осознает смысл этой фразы и рисует картинку, ему соответствующую (эксперты АКБ отмечают, что было бы интересно посмотреть, как нейросеть реагирует на более абстрактные словесные конструкции).
Главной проблемой для специалистов было, естественно, нахождение способа, как ИИ должен выработать связь между словом и изображением и «понимать», как именно взаимодействуют между собой описываемые объекты. Для этого специалистам пришлось создать двухкомпонентную нейросеть, ее еще называют состязательной. Одна часть – генерирует изображение, другая – оценивает насколько они соответствуют описанию.
В настоящее время, по словам специалистов, у нейросети получаются не слишком четкие, часто расплывчатые изображения и периодически ученые получают и вовсе ошибочные результаты. Однако начало положено.
Еще одно, более курьезное достижение нейросетей (от Facebook): как разобрать блюдо на ингредиенты, «глядя» на его изображение. Особенностью ИИ-алгоритма Recipe1M стал генеративный подход при распознавании изображения. По заявлению разработчиков, нейросеть не только определяет видимые ингредиенты, сравнивая их с уже имеющейся базой данных, но и прогнозирует полный состав блюда, а также способ его приготовления на основе внешнего вида продуктов, подвергнутых разным видам обработки. Затем кодировщик ингредиентов и декодер команд генерируют заголовок для рецепта и выводят итоговый результат в виде инструкции по приготовлению на экран гаджета.
Следует отметить, что по сравнению с базовыми алгоритмами распознавания Recipe1M «предсказывает» неочевидные составляющие готовых продуктов — например, масло в составе круассанов. В перспективе разработчики планируют добавить к списку кулинарных умений нейросети и другие полезные опции — например, счётчик калорий. Очевидно также, что представленный вид обучения ИИ может использоваться для любой задачи, которая требует прогнозирования структурированного текста на основе анализа изображения. А это далеко не только рецепты.
Читайте также на АКБ другие материалы про подвиги машинного обучения:
Нейросеть воссоздает лицо человека по голосу
Нейросеть Google достраивает движение по первому и последнему кадру
Нейросети сегодня: неэкологично и очень удобно для фейков
Робот из Провиденса нарисовал Мону Лизу и пишет на десяти языках
