Пекінська академія штучного інтелекту презентувала розробку, що за своїми характеристиками в 10 разів перевершує найпотужніший існуючий генеративний AI – GPT-3.
Дослідники розповіли про можливості новинки, головною особливістю якої стала можливість вирішувати відразу кілька типів складних завдань. Маючи в своєму розпорядженні величезні обчислювальні потужності, нейромережа Wu Dao 2.0 здатна виконувати завдання з обробки і генерації природної мови, імітації тексту, розпізнавання зображень і створення фотореалістичних картин за словесним описом.
Вчені продемонстрували, як їхнє дітище пише есе, вірші і двовірші традиційною китайською мовою, і навіть пророкує тривимірні структури білків.
Крім того, вона може використовуватися в якості програмної бази для створення віртуальних помічників. Щоб навчити модель рекордній кількості параметрів за короткі терміни, дослідники BAAI створили систему навчання FastMoE з відкритим вихідним кодом, схожу на Google Mixture of Experts.
Технологія на базі обчислювального пакету PyTorch дозволяє навчати модель як на кластерах суперкомп’ютерів, так і на звичайних графічних процесорах. Це дало FastMoE велику гнучкість, оскільки вона не вимагає важкодоступного обладнання.
Кількість параметрів навчання Wu Dao 2.0 становить понад 1,75 трильйона – в десять разів більше, ніж у GPT-3.
Така продуктивність дозволяє нейромережі створювати не тільки грамотні тексти, а й вирішувати більш складні завдання на зразок складання кулінарних рецептів.
На відміну від більшості моделей глибокого навчання, які виконують єдине завдання, Wu Dao є більш універсальним інструментом. Дата релізу комерційної версії нейромережі розробниками поки не оголошена.