Дослідники з Лабораторії інформатики і штучного інтелекту Массачусетського технологічного інституту (MIT CSAIL) розробили абсолютно новий штучний інтелект, який може визначати різні об’єкти, а також відчуття від дотику до них, просто дивлячись на картинку.
Це працює і у зворотний бік, тобто обмацуючи предмет, ІІ може назвати, що це таке. За словами видання TNW, команда дослідників MIT взяла руку робота KUKA і додала до неї тактильний датчик GelSight, який був створений групою Теда Адельсона в CSAIL. Потім штучному інтелекту дали 200 об’єктів домашнього вжитку (тканини, інструменти, предмети побуту), які він обмацував більше 12 тисяч разів, записуючи при цьому свої візуальні і тактильні відчуття.
З цих даних був створений набір з 3 мільйонів візуально-тактильних зображень під назвою VisGel. По завершенні навчання штучний інтелект зміг створювати візуальне уявлення об’єкта тільки з тактильних даних, які він генерує, торкаючись його, і навпаки – дивлячись на зображення об’єкта, розуміти що це за предмет на дотик. «Об’єднання тактильних і візуальних відчуттів може розширити можливості робота і скоротити обсяг даних, які можуть знадобитися для виконання завдань, пов’язаних з маніпулюванням і захопленням об’єктів», – каже Юньчжи Лі, аспірант CSAIL і провідний автор нової статті про систему.