«Мой старый профессор, когда я был студентом, рассказывал анекдот: "Как вы решаете какие-либо задачи в информатике? Добавьте еще один уровень абстракции." Добавление нейронной сети внутри нейронной сети определенно напоминает мне об этом.»
Майк Кук, старший преподаватель кафедры информатики Королевского колледжа Лондона
Существующие несколько последних лет на рынке ИТ модели – «Трансформеры» оказались не особенно эффективны при обработке и анализе огромных объемов данных, по крайней мере, работающие на готовом оборудовании. И по мере того, как компании строят и расширяют инфраструктуру для удовлетворения потребностей трансформеров, это приводит к резкому и неустойчивому увеличению спроса, а соответственно затрат на электроэнергию.
Большим минусом также явился тот факт, что у модели трансформер, есть только "мозг" справочной таблицы,
Т.е. большие видео модели «Трансформеры», могут обрабатывать только 10 секунд видео.
Компании постепенно начали сталкиваться с техническими препятствиями, в частности, с препятствиями, связанными с вычислениями.
По этой причине в течение полутора лет исследователями из Стэнфорда, Калифорнийского университета в Сан-Диего, Калифорнийского университета в Беркли была разработана многообещающая архитектура (TTT) «ОБУЧЕНИЕ ВО ВРЕМЯ ТЕСТИРОВАНИЯ».
Модели TTT «ОБУЧЕНИЕ ВО ВРЕМЯ ТЕСТИРОВАНИЯ» смогут не только обрабатывать гораздо больше данных, чем трансформеры, но и делать это, не потребляя почти столько же вычислительной мощности.
Внутренняя модель машинного обучения модели TTT «ОБУЧЕНИЕ ВО ВРЕМЯ ТЕСТИРОВАНИЯ», в отличие от справочной таблицы трансформера, не растет по мере обработки дополнительных данных. Вместо этого она кодирует обрабатываемые данные в репрезентативные переменные, называемые весами, что делает модели TTT высокоэффективными. Независимо от того, сколько данных обрабатывает модель TTT, размер ее внутренней модели не изменится.
Архитектура модели ТТТ «ОБУЧЕНИЕ ВО ВРЕМЯ ТЕСТИРОВАНИЯ» может произнести нн-ое количество слов о книге без вычислительной сложности, связанной с перечитыванием книги нн-ое количество раз.
Исследователи из Стэнфорда, Калифорнийского университета в Сан-Диего, Калифорнийского университета в Беркли считают, что будущие модели TTT смогут эффективно обрабатывать миллиарды фрагментов данных, от слов до изображений, аудиозаписей и видео. Это намного превосходит возможности сегодняшних моделей «трансформер».
Конечная цель - разработать систему, которая может обрабатывать длинное видео, напоминающее визуальный опыт человеческой жизни.
У нас вы можете заказать разработку на базе архитектуры ТТТ, нажав на кнопку «Заказать услугу»