Алгоритм MIT знаходить тонкий зв’язок між творами мистецтва

Дослідники Массачусетського технологічного інституту розробили нову систему під назвою «MosAIc». Вона виявляє важко помітні подібності між творами мистецтва в Метрополітен-музеї і Амстердамському Рейксмузеумі.

Модель MosAIc сканує зображення, а потім використовує глибокі мережі, щоб знайти в них подібності — це можуть бути культурологічні подібності, схожі методи роботи або деталі, які не помічають навіть мистецтвознавці.

Спочатку користувач завантажує в MosAIc зображення, а потім алгоритм знаходить схожі твори мистецтва. В одному з аналізів MosAIc пов’язав роботи Франсиско де Сурбарана «Мучеництво Святого Серапіона» і Яна Ассейліна «Переляканий лебідь». Дослідники пояснили, що ці художники ніколи не зустрічалися один з одним, не листувалися, проте модель змогла знайти кілька сюжетів, які використовувалися в основі двох робіт.

Складність в розробці MosAIc полягала у створенні алгоритму, який міг би знаходити не тільки подібності за кольором або стилем, але й також за змістом і темою. Дослідники вивчили глибоку мережу зв’язків, які вже помічали мистецтвознавці, а алгоритм вивчав логіку того, як одні твори мистецтва пов’язані з іншими.

Дослідники також використовували нову структуру даних пошуку зображень під назвою «Дерево KNN», яка групує зображення в деревоподібну структуру. Щоб знайти найбільш близький збіг одного зображення з іншим, алгоритм починає зі «ствола» зв’язків, а потім слідує за найближчим перспективним «відгалуженням». Таким чином, структура даних поліпшується самостійно.

Розробники сподіваються, що MosAIc зможе використовуватися і в інших галузях, таких як гуманітарні та соціальні науки і медицина.