Введение: почему нейросеть умеет продолжать текст
Когда мы задаём вопрос ChatGPT, кажется, будто собеседник понимает нас, размышляет и формулирует ответ. Но в основе работы большой языковой модели лежит довольно конкретная задача: предсказать, какой элемент текста должен появиться следующим.
Например, после фразы:
«Солнце взошло над…»
модель может оценить вероятности разных продолжений:
- «горизонтом» — 60%;
- «городом» — 15%;
- «морем» — 10%;
- другие варианты — 15%.
Затем выбирается один из вариантов, после чего модель снова предсказывает следующий. Так постепенно появляется предложение, абзац и целая статья.
Однако было бы ошибкой считать современные большие языковые модели простыми «автодополнениями» или цепями Маркова. Они используют гораздо более сложные механизмы: многослойные нейронные сети, механизм внимания, огромные объёмы данных и обучение на миллиардах примеров.
Чтобы понять, как всё это работает, начнём с более простой идеи.
1. Цепи Маркова: модель, которая смотрит только на прошлое
Цепь Маркова — это математическая модель, описывающая последовательность событий. Её главный принцип звучит так:
Будущее зависит только от текущего состояния, а не от всей предыдущей истории.
Представим прогноз погоды. Если сегодня солнечно, завтра с вероятностью 70% тоже будет солнечно, с вероятностью 20% — облачно и с вероятностью 10% — дождь. Если сегодня дождь, вероятности будут другими.
Такая система может выглядеть следующим образом:
- солнечно → солнечно: 70%;
- солнечно → облачно: 20%;
- солнечно → дождь: 10%;
- дождь → дождь: 50%;
- дождь → облачно: 30%;
- дождь → солнечно: 20%.
Если использовать цепь Маркова для генерации текста, модель может учитывать, например, только последнее слово. После слова «красный» она выбирает наиболее вероятное продолжение — «дом», «цвет», «автомобиль» и так далее.
Можно сделать модель немного сложнее и учитывать два или три последних слова. Например:
«Я пошёл в…»
После такой последовательности вероятными продолжениями станут «магазин», «школу» или «кино». Но если в начале текста было сказано, что рассказчик недавно переехал в другой город, простая модель может этого не учесть.
Именно в этом заключается ограниченность цепей Маркова: их память ограничена заранее заданным количеством предыдущих состояний.
Почему современные LLM — не обычные цепи Маркова
Большие языковые модели, или LLM, действительно предсказывают следующий токен — часть слова, слово или знак препинания. В этом смысле они похожи на вероятностную модель последовательностей.
Но различия принципиальны.
Во-первых, LLM анализирует не только последнее слово и не обязательно фиксированное короткое окно. Она может учитывать большой контекст: предыдущие предложения, инструкцию пользователя, фрагмент кода и данные из начала документа.
Во-вторых, модель не хранит простую таблицу переходов вроде «после слова X чаще всего идёт слово Y». Она преобразует текст в сложные числовые представления и вычисляет связи между элементами контекста.
В-третьих, языковая модель не использует единственный неизменный набор вероятностей. Её предсказания зависят от всей входной последовательности, задачи, положения слов и внутренних вычислений миллиардов параметров.
Поэтому точнее сказать так: LLM — это обученная нейронная модель, которая авторегрессионно предсказывает следующий токен с учётом контекста. Авторегрессионность означает, что уже сгенерированный текст становится частью входа для следующего шага.
2. Из чего состоит трансформер
Современные языковые модели в основном построены на архитектуре, которая называется трансформером. Её ключевая идея — механизм внимания, или attention.
Токены: как текст превращается в числа
Нейросеть не понимает слова напрямую. Сначала текст разбивается на токены.
Например, слово «трансформер» может быть одним токеном, а длинное или редкое слово — несколькими частями. Знаки препинания и пробелы тоже могут учитываться.
Затем каждому токену ставится в соответствие набор чисел — вектор. Такой вектор называется embedding, или вложенное представление. Слова с похожим смыслом обычно оказываются расположены в математическом пространстве близко друг к другу.
Например, в таком пространстве «кошка» и «кот» будут ближе, чем «кошка» и «самолёт». Но embedding хранит не словарное определение, а статистические связи, обнаруженные в данных.
Механизм внимания: что с чем связано
Рассмотрим предложение:
«Мария положила книгу на стол, потому что он был свободен».
Чтобы понять, к чему относится слово «он», нужно сопоставить его со словом «стол». Механизм внимания позволяет модели оценить, какие части предложения важны для интерпретации текущего токена.
Упрощённо attention задаёт три вопроса:
- Что я сейчас ищу?
- Какие признаки есть у каждого слова?
- Насколько каждый элемент контекста важен для текущего вычисления?
В результате модель может «сосредоточиться» на словах, которые помогают предсказать продолжение или понять смысл.
В трансформере внимание применяется много раз и на разных уровнях. Одни слои могут обнаруживать грамматические связи, другие — отношения между объектами, третьи — структуру рассуждения или особенности стиля.
Почему внимание называется многоголовым
В трансформерах используется multi-head attention — многоголовое внимание. Можно представить, что у модели есть несколько независимых «наблюдателей».
Один отслеживает согласование слов:
«Кошка прыгнула», а не «кошка прыгнул».
Другой анализирует смысловые связи. Третий обращает внимание на структуру абзаца, четвёртый — на кавычки, скобки или программный код.
После этого результаты объединяются. Конечно, внутри модели нет маленьких сознательных наблюдателей, но такая аналогия помогает понять принцип.
3. Как модель обучается и создаёт ответы
Предварительное обучение
На первом этапе модель получает огромное количество текстов: книги, статьи, сайты, документацию, примеры кода и другие данные.
Ей показывают фрагмент, например:
«Зимой дни становятся…»
Модель должна предсказать следующее слово. Если она ошиблась и выбрала «длиннее», а правильным продолжением было «короче», специальный алгоритм вычисляет ошибку и немного изменяет параметры сети.
Этот процесс повторяется миллиарды раз. Постепенно модель учится:
- грамматике;
- распространённым фактам;
- стилям текста;
- структуре диалогов;
- закономерностям программного кода;
- связям между понятиями.
Важно понимать: модель не «запоминает интернет целиком» как библиотеку документов. Она формирует сложные статистические представления о языке и знаниях. Иногда она может воспроизвести запомнившийся фрагмент, но в большинстве случаев генерирует текст заново.
Дообучение на инструкциях
После предварительного обучения модель может хорошо продолжать тексты, но не всегда понимает, чего хочет пользователь. Поэтому её дообучают на примерах запросов и качественных ответов.
Например:
Запрос: «Объясни детям, что такое электричество».
Хороший ответ: простой, понятный и безопасный текст без лишних формул.
Модель учится следовать инструкциям, поддерживать диалог, менять стиль и формат ответа.
Затем применяются дополнительные методы оценки качества, когда люди или специальные системы сравнивают разные варианты. Благодаря этому модель учится быть более полезной, вежливой и устойчивой к нежелательным запросам.
Как происходит генерация
Когда пользователь отправляет вопрос, он превращается в последовательность токенов. Трансформер обрабатывает весь доступный контекст и выдаёт распределение вероятностей для следующего токена.
Затем выбирается вариант. Если всегда брать самый вероятный токен, ответы будут предсказуемыми, но иногда скучными. Если разрешить выбирать менее вероятные варианты, текст станет разнообразнее, однако возрастает риск ошибки.
Для этого используются параметры генерации:
- temperature регулирует случайность;
- top-k оставляет только несколько наиболее вероятных вариантов;
- top-p выбирает варианты из группы с общей вероятностью, например 90%.
Так создаётся текст токен за токеном. Модель не пишет ответ целиком заранее: она каждый раз принимает новое решение на основе уже имеющегося контекста.
4. От узкого ИИ к AGI
Развитие искусственного интеллекта часто описывают через несколько уровней.
Узкий, или специализированный ИИ
Это системы, хорошо решающие отдельную задачу:
- распознавание лиц;
- перевод текста;
- рекомендации фильмов;
- диагностика изображений;
- игра в шахматы.
Такой ИИ может превосходить человека в конкретной области, но не умеет самостоятельно переносить знания на любые другие задачи.
Генеративные модели
Современные языковые и мультимодальные модели способны создавать текст, изображения, аудио и код. Они универсальнее традиционных систем, потому что работают с множеством типов запросов.
Но их универсальность пока ограничена. Модель может написать убедительное объяснение и одновременно допустить фактическую ошибку. Она не всегда понимает последствия своих действий, не обладает человеческим опытом и может неправильно интерпретировать неоднозначную задачу.
Сильный ИИ и AGI
AGI — artificial general intelligence, или искусственный общий интеллект. Обычно под ним понимают систему, которая способна гибко решать широкий круг интеллектуальных задач на уровне человека или выше:
- учиться новым навыкам без огромного специального датасета;
- переносить знания между областями;
- строить долгосрочные планы;
- проверять собственные ошибки;
- взаимодействовать с физическим миром;
- самостоятельно осваивать новые инструменты.
Сегодня не существует общепринятого доказательства, что какая-либо система достигла AGI. Большие модели стали впечатляюще универсальными, но универсальность ответов ещё не равна полноценному человеческому пониманию.
Заключение: почему трансформеры стали переломной технологией
Цепи Маркова показали, как можно описывать последовательности через вероятности переходов. Но современные LLM пошли гораздо дальше: они используют нейронные сети, многослойные представления, механизм внимания и огромный контекст.
Трансформер не просто спрашивает: «Какое слово обычно идёт после этого?» Он анализирует множество связей внутри текста, учитывает инструкцию, стиль, структуру и предыдущие фрагменты диалога. При этом его основная операция всё ещё проста по формулировке — предсказать следующий токен.
Именно сочетание простой цели и гигантского масштаба обучения породило неожиданные способности: перевод, программирование, объяснение сложных тем и ведение диалога.
Но трансформер — не человеческий мозг и не доказанный AGI. Это мощный инструмент обработки информации, который умеет находить закономерности и создавать новые последовательности. Понимание его принципов помогает использовать ИИ разумно: ценить его возможности, проверять результаты и помнить, что убедительный текст не всегда означает правильное рассуждение.