Надпотужна китайська нейромережа може писати есе як людина

Пекінська академія штучного інтелекту презентувала розробку, що за своїми характеристиками в 10 разів перевершує найпотужніший існуючий генеративний AI – GPT-3.

Дослідники розповіли про можливості новинки, головною особливістю якої стала можливість вирішувати відразу кілька типів складних завдань. Маючи в своєму розпорядженні величезні обчислювальні потужності, нейромережа Wu Dao 2.0 здатна виконувати завдання з обробки і генерації природної мови, імітації тексту, розпізнавання зображень і створення фотореалістичних картин за словесним описом.

Вчені продемонстрували, як їхнє дітище пише есе, вірші і двовірші традиційною китайською мовою, і навіть пророкує тривимірні структури білків.

Крім того, вона може використовуватися в якості програмної бази для створення віртуальних помічників. Щоб навчити модель рекордній кількості параметрів за короткі терміни, дослідники BAAI створили систему навчання FastMoE з відкритим вихідним кодом, схожу на Google Mixture of Experts.

Технологія на базі обчислювального пакету PyTorch дозволяє навчати модель як на кластерах суперкомп’ютерів, так і на звичайних графічних процесорах. Це дало FastMoE велику гнучкість, оскільки вона не вимагає важкодоступного обладнання.

Кількість параметрів навчання Wu Dao 2.0 становить понад 1,75 трильйона – в десять разів більше, ніж у GPT-3.

Така продуктивність дозволяє нейромережі створювати не тільки грамотні тексти, а й вирішувати більш складні завдання на зразок складання кулінарних рецептів.

На відміну від більшості моделей глибокого навчання, які виконують єдине завдання, Wu Dao є більш універсальним інструментом. Дата релізу комерційної версії нейромережі розробниками поки не оголошена.