Важко серфити мережу і не побачити десь ChatGPT. З моменту публічного випуску 20 листопада 2022 року ранній чат-бот досяг 100 мільйонів активних користувачів щомісяця та різко підскочив у деяких із найпопулярніших термінів Google, пише IFLScience. Попри його популярність, напрочуд небагато людей можуть сказати напевно, що саме означають ці три літери – GPT у слові – ChatGPT. Насправді це перекладається як генеративний попередньо навчений трансформатор.
ChatGPT від OpenAI – це комп’ютерна програма, яка використовує штучний інтелект (ШІ) для текстових розмов із користувачами. Поставте будь-яке запитання, ну, звісно ж, в розумних межах або надішліть запит, і ChatGPT відповість блоком тексту. Той навіть може здатися надзвичайно природним і таким, ніби відповідав живий модератор.
Технічно кажучи, це великий чат-бот на основі мовної моделі, тобто він отримує неймовірну кількість текстових даних, таких як книги, новинні статті та веб-сторінки, з яких він навчається будувати речення. Його можна використовувати для будь-яких цілей – написання комп’ютерного коду, в якості віртуального помічника, створення контенту тощо.
Зі здоровою дозою іронії ChatGPT попросили дати розбивку терміну “генеративний попередньо навчений трансформатор”. Ось що відповів штучний інтелект:
Генеративний попередньо навчений трансформатор – це термін, який описує ключові функції та характеристики архітектури мовної моделі. Розберімо значення кожного компонента:
- генеративний: у контексті обробки природної мови генеративний означає, що модель здатна генерувати новий текст, який нагадує людську мову. Він може створювати зв’язні та відповідні контексту речення, абзаци або довші тексти на основі шаблонів, які він вивчив під час навчання.
- попереднє навчання стосується початкового етапу навчання моделі на великому наборі даних, що містить величезну кількість тексту з Інтернету чи інших джерел. Під час попереднього навчання модель вчиться передбачати наступне слово в реченні на основі попередніх слів. Цей процес дозволяє моделі фіксувати статистичні закономірності та зв’язки, присутні в даних.
- трансформатор – це особливий тип архітектури глибокого навчання, представлений у статті 2017 року. Він використовує механізми самоконтролю для паралельної обробки вхідних послідовностей, дозволяючи моделі враховувати важливість різних слів у вхідних даних під час генерації вихідних даних. Трансформатори стали популярними в задачах обробки природної мови.
Окрім ChatGPT від OpenAI, існує кілька інших GPT. Є BloombergGPT, який використовує технологію штучного інтелекту, подібну до ChatGPT від OpenAI, але пройшов спеціальне навчання на даних, пов’язаних з фінансами та фінансовою індустрією. Існує також GPT-Neo, модель великої мови з відкритим кодом, натхненна GPT-3 OpenAI.
На цей момент OpenAI та ChatGPT є найбільш впізнаваними іменами в галузі генеративних попередньо навчених трансформаторів, але є багато інших компаній, які змагаються за перше місце.
