Ключевые идеи, которые полезно обсудить:
- Токенизация и предсказание следующего токена — модель не «понимает» текст как человек, а вычисляет вероятности продолжений на основе контекста.
- Эмбеддинги и позиционная информация — слова и части слов преобразуются в векторы, а порядок учитывается отдельно.
- Механизм self-attention — каждый токен может учитывать другие токены контекста; это помогает связывать удалённые части текста.
- Обучение и функция потерь — модель корректирует параметры, уменьшая ошибку предсказания; при генерации выбирается один из вероятных вариантов.
- Масштабирование и ограничения — больше данных и параметров обычно повышают качество, но не гарантируют фактическую точность, логическое мышление или AGI.
Для практической проверки можно сравнить:
- биграммную/триграммную модель и трансформер на одном корпусе;
- влияние длины контекста на разрешение местоимений;
- работу attention на предложениях с зависимостями между далёкими словами;
- качество модели до и после дообучения на специализированных текстах.
Главное отличие от RNN и LSTM — трансформер обрабатывает элементы последовательности параллельно и напрямую сопоставляет их через attention, тогда как рекуррентные сети передают информацию шаг за шагом. CNN лучше выявляют локальные шаблоны, а трансформеры эффективнее работают с зависимостями на большом расстоянии.