«Этот специализированный мозг обеспечивает хорошо известные возможности трансформеров, такие как обучение в контексте».
Фундаментальным компонентом трансформера является "скрытое состояние", которое по сути представляет собой длинный список данных.
Когда трансформер что-то обрабатывает, он добавляет записи в скрытое состояние, чтобы “запомнить”, что он только что обработал, например, если модель прокладывает себе путь по книге, значениями скрытых состояний будут такие вещи, как представления слов (или частей слов).
«Если вы думаете о трансформере как о разумном существе, то таблица поиска — ее скрытое состояние — это мозг трансформера»
Скрытое состояние в трансформерах — это часть того, что делает трансформеры такими мощными. Но оно также сковывает их. Чтобы «сказать» хотя бы одно слово о книге, которую трансформер только что прочитал, модели пришлось бы просмотреть всю свою справочную таблицу — задача, требующая таких же вычислительных затрат, как перечитывание всей книги.
Архитектура модели Трансформеры лежит в основе таких моделей как Sora для генерации видео от OpenAI, а также моделей для генерации текста, таких как