1. Введение в курс и обучение трансформера с учителем
Представление мини-курса об истории семейства GPT и плане первого модуля. Объясняется архитектура трансформера для машинного перевода и почему предсказание слов токен за токеном является обучением с учителем.
Всем привет Добро пожаловать на первый модуль мини курса с названием полная история семейства gpt Меня зовут котенков Игорь и в ближайшие несколько часов я постараюсь вам рассказать про историю развития семейства gpt возможно по нумерации на слайде у васпоявился вопрос А почему она такая странная что ж я надеюсь что описание нашего четырёх модульного плана поможет ответить на этот вопрос Сначала мы постараемся понять как появилась gpt 1 какие мысли какие идеи привели к созданию этой модели ипочему она делали те а не иные выборы по ходу создания этой модели После этого мы сделаем Квантовый скачок и постараемся ответить на вопрос как ж опы пришли к гпт 3 Возможно вы задумались где же здесь пт-2 Почему мыеё пропустили но уверяю ничего пропущено не будет далее я расскажу чем же Open занимались до выпуска гпт 4 почему появился такой двух с половинный гэп между третьей версии и анонсом Chat gpt четки Ну и собственно четвёртый модуль будет
посвящён самым передовым моделям по крайней мере на момент записи этого блока лекций и мы разберём чат gpt gp4 и несколько предшествующих работ и сегодня так как мы занимаемся в первом модуле Мы будем обсуждать вопрос как появилась gpt 1всего у нас будет три части и сейчас вы смотрите первую часть в этой части в плане У нас есть четыре пункта Мы постараемся вспомнить как обучается трансформер Какие ключевые идеи лежат в основании этой модели далее поговорим про разницуобучения с учителем и без учителя перейдём к очень Возможно не сразу понятной но опосля очевидной идеи которая заключается в том что трансформер - на самом деле компрессор по аналогии с Zip и затем когда мы сделаем такое отступление Япостараюсь ответить на вопрос как же компрессия и сжатия связана с миром НЛП и машинного обучения Итак давайте приступать трансформер архитектура придуманная в 2017 году учёными из Гугла для того чтобы решать задачу машинного перевода Потому что раньше эта задача
решалась с помощью рекуррентных нейронных сетей у них есть некоторый набор скажем так недостатков которые мешают использовать их эффективно и произошло чудо Когда в середине 2017 года была опубликована статья Attention asol Unit архитектура Трансформера состоит из двух частей encoderдекодер И как вы видите у нас есть некоторая частичка например на французском языке она попадает в модель происходит какая-то магия и на выходе мы получаем перевод на английском языке эта модель является представителем класса задач обучение с учителем илиsupervised Learning по-английски причина в том что для того чтобы обучить такую модель нам нужно собрать огромное количество пар текст на английском текст на французском Ну или наоборот если мы хотим решать задачу в обратном направлении перевод с французского наанглийский как показано на слайде и для того чтобы такую выборку подготовить понятно что недостаточно просто щёлкнуть пальцами необходимо собрать большой количество людей дать им задачу оплатить им их работу и так далее и всё всё-таки Несмотря на то что
если мы вспомним что трансформер обучается с помощью предсказания тех слов которые мы должны сгенерировать последовательно тем не менее это является примером задачи обучение с учителем что я имею в виду когда говорю что мы обучаемся предсказывать слова в нашемпереводе пусть у нас есть то же самое предложение на французском языке и мы должны перевести его на английский язык Мы точно знаем что перевод для него - это фраза I am a Student тогда для первого для первой позициив предсказываю в целевом предложении мы должны предсказать токен или слово I далее мы должны предсказать M на третью позиции мы должны предсказать A и так далее и так далее но непосредственно соотносить целевой перевод с позициями нам не нужномы просто пишем одну длинное предложение которое является хорошим и правильным переводом и затем уже алгоритм под капотом работы Трансформера с помощью механизма токенизация разбивает это уже На позиции но сам перевод оригинальный Нам нужен и походу того когда модель
обучается или лучше даже сказать когда она уже обучила она будет делать набор предсказаний или распределений вероятности по словарю которую мы можем видеть справа если мы считаем что первым токеном должно быть I то хорошо обученная модель вероятно будет такжепредсказывать с уверенностью 93 что это должен быть первый токен I затем Мы спрашиваем модель Какой токен должен быть на втором месте в данном случае это будет м модель предсказывает 80% вероятностей и все довольны Это пример того как Мыпроизводим обучение с учителем Несмотря на то что Мы производим по сути предсказание одного слова за другим сначала первое слово потом второе слово потом третье слово это всё ещё обучение с учителем и штука с обучением с учителем в том
2. Обучение без учителя: отсутствие теории и большая мечта
Сравнение математического обоснования supervised learning с отсутствием строгой теории для unsupervised learning. Обсуждаются преимущества обучения без разметки: огромные объёмы данных, робастность и эмпирическое улучшение качества на целевой выборке.
что вы можете найти математические доказательства того почему оно будет работать математическое обоснование здесь есть две фразы которые вы можете загуглить если вам очень интересно и вы найдёте прямо математический апарат который показывает что если у вас есть некоторая выборкаиз распределения и вы будете минимизировать ошибку на этом распределении на этой выборке то на новой выборке из того же распределения у вас будет ошибка также уменьшаться со временем по ходу обучения и достигнет некоторого на период заданного значения точнееможет достигнуть Если вы конечно же нигде не ошиблись и собрали необходимое количество данных это всё математически доказуемо Но что произойдёт с антиподом обучения с учителем с uns supervised Learning Когда у нас нет заранее заготовленных наборов и здесь лиесть ли какой-то математический аппарат который нам позволит ответить на этот вопрос Ну на самом деле насколько мне известно его нет Есть некоторый набор интуиции возможно вестик но прямо чёткого доказательства того что supervise должен работать в общем случае у
нас не имеется это очень интересно потому что если мы посмотрим на самые передовые модели не только в области NLP но также в компьютерном зрении то мы заметим что большинство моделей утилизируют Этот способ а математического обоснования его работы нети я дальше в презентации постараюсь вам дать понимание того почему это вообще может работать как это как я уже анонсировал в плане связано с компрессией и какая интуиция за этим лежит но Давайте перед этим постараемся ответить на вопросА чем для нас вообще так интересно обучение без учителя Почему мы хотим его использовать первое конечно что бросается в глаза это то что нам не нужна разметка для данных и при этом если мы умеем каким-либо образом эксплуатировать вседоступные нам данные по крайней мере собирать их и после этого предоставлять модели во время обучения то данных будет много Я бы даже сказал очень много на порядке больше чем вручную собранных данных если у вас скажем датасет в 300
млн примеров для изображений как внут один из внутренних датасет Гугла то это кажется что это очень-очень много Но на самом деле если вы начнёте считать количество текстов в интернете или просто изображений не размеченный то цифра будет просто колоссальнобольшая не в сравнение 300 млн и это было бы очень хорошо Если бы мы умели модель на этом обучать каким-то полезным навыкам второе поскольку модель посмотрит огромное количество данных никакие из которых нам не нужно предварительно при процеси товозможно она станет более робастность
ofri Ну кажется мы практически все примеры того что только можно было увидеть уже проверили во время обучения и на самом деле Super Le это вещь не новая про неё говорили ещё в Восьмидесятых годах даже описывали в целом подходыкоторые во многом связаны с тем что мы делаем сейчас но UN практически не работал на моделях маленького размера очень сложно было заметить это этот эффект и поэтому большую часть времени машины обучени развивалось По стопам сбора Татаев и последующегообучения с учителем Однако сейчас 202 в четвёртом году можно сказать что давняя мечта давний не знаю секретный граль машинного обучения виден сува ленга он наконец-то сбылся или осуществился и мы теперь обучаем модели с применением огромного корпуса не размеченныйданных с целью Улучшение качества на некоторой выборке но это тоже очень интересно мы наблюдаем по сути это эмпирически что обучение на одной выборке без разметке улучшает качество на нашей целевой выборке но абсолютно непонятно как я уже сказал не
существует математического аппарата который бы показывал Почему обучение на одной целевой функции на одном наборе данных влияет на качество на потенциально другом наборе данных с другой целевой функцией кажется Тут даже Связи нет на уровне формулировки не говоря уж на
3. Предиктор как компрессор и энтропия
Вводится доказуемый факт, что любой предиктор можно обратить в lossless-компрессор, и понятие информационной энтропии. Эксперимент со сжатием Zip частей датасета Wikipedia подтверждает, что хороший компрессор использует паттерны одного набора данных для лучшего сжатия другого.
уровне того что может происходить в модели именно на эти вопросы Я постараюсь ответить дальше очень неочевидный но при этом доказуемо факт приготовьтесь любой предиктор может быть обращён в Los компресор и при этом обратное тоже верно что означает losslessкомпресор это означает что мы умеем некоторый набор данных без потерь То есть вы можете его распаковать на другом компьютере и получить тот же самый полностью работающий набор данных без единого искажения и это как я сказал не очень очевидныйфакт но при этом он математически доказу если у вас появится вопрос как это вообще в теории может работать Я рекомендую загуглить понятие арифметическое кодирование или Artic encoding decoding и вы сможете уверенно в этом разобраться При этом если мывспомним как обучают большие языковые модели Если вдруг у вас это знание уже есть то вы можете вспомнить что качество работы вашего алгоритма можно измерить параметрам энтропии и как ни странно понятие энтропии пришло к нам из теории информации на
слайде Вы можете видеть определение информационная энтропия - это некоторая мера неопределённости системы в частности непредсказуемость появления какого-либо символа первичного алфавита в нашем случае первичный Алфавит - это что-то над чем работает языковая модель как её входы так и выходыи мы пытаемся оценить Насколько вероятно или невероятно что модель предскажет правильно некоторую последовательность слов и если для вас не очевидна связь того что написано на слайде с ЛП или с языковыми моделями которые мы будем проходить ТО вспомните чтовообще-то мы во время обучения оптимизируем энтропию то есть мы оптимизируем неопределённость которая у нас есть и чем меньше неопределённость тем лучше результат нашего предсказания что в целом Вполне логично чем лучше модель понимает наши данные чем лучше она предсказываеттем меньше неопределённость возникающая в этой связи и тем можно сказать более правильная модель у нас находится на руках давайте продемонстрирую это ре пусть у нас есть два примера распределения вероятностей они неполные здесь на самом деле больше двух классов
но Давайте посмотрим только на эти два У нас есть левая картинка где вероятности предсказывает и есть картинка где у нас вероятности соотносится как 2 к8 или 20% на 80 в какой из этих ситуаций у нас больше неопределённости интуитивнокажется что на левой потому что у нас непонятно то ли первый класс выпадет то ли второй класс выпадет и ходимо прилагать какие-то дополнительные усилия для того чтобы эту информацию извлечь если мы посмотрим на вторую ситуацию выделенную розовым томы почти уверены что случится ситуация описываемая классом вторым в 80% случаев по крайней мере Согласно нашей модели это должно происходить модель более уверена у нас меньше неопределённости если модель достаточно хорошая и хорошо угадывает и поэтому если модель угадываетвероятности хорошо и даёт очень высокие вероятности то у нас энтропия меньше неопределённость меньше и Согласно определению того что любой предиктор или предсказательная модель может быть обращена в компрессор получается что вторая модель будет являться лучшим компрессор Давайте в контексте
обучения без учителя рассмотрим следующую ситуацию для того чтобы связать компрессию и обучение без учителя А значит и предсказание ива пусть у вас есть два тасе x и y и Оракул вам сказал что у вас есть некоторый компрессор которыйобъективно хорошо сжимает данные как думаете как должен работать этот компрессор на задаче совместного и y то есть когда мы можем эти даты схлопнуть и попытаться их сжать одна из интуиции которая приходит в голову это то что компрессор должениспользовать паттерны из X для того чтобы лучше сжать Y То есть если у нас есть какая-то дополнительная информация из X которая актуальна для Y мы можем Это переиспользовать для того чтобы лучше сжать Y И на самом деле дляпредсказания Это тоже верно если мы берм выборку кото на которой можем изле какие-то полезные паттерны то использование предсказательной модели которая выявляет эти паттерны также должна снижать перплексус
формулой то что я только что сказал мы берём и объединяем или контини д X и Y применяем к ним объективно хороший компрессор C и длина дескрипшн которую нам выдаёт этот компрессор она должна быть меньше чем сжатый По отдельностиX и Y плюс некоторый overhead о от единицы это Например может быть указание длины размера этого датасета X Ну потому что если мы хотим их сжать вместе нам необходимо запомнить где кончается датасет X и начинается датасет Y иначеэта информация потеряется как минимум такой охд можно обсуждать и на самом деле вы можете убедиться в верности этого выражения даже на своём компьютере я например сделал следующий эксперимент я взял датасет nvk 7 это датасет хранящий первые 10 вседьмой степени байт англоязычной Википедия по крайней мере какого-то дампа и распилил его на два куска первый хранит 3 у 10/6 второй хранит 7х на 10/6 байт в сумме эти два датасета полностью являются аналогий нашего исходного датасета nvx 7
и затем я их пожал утилитой Zip что получилось Давайте посмотрим на размеры файлов опять же вы можете все эти эксперименты проделать у себя в консоли для того чтобы понять что я не вру Если вы просуммировать размеры датасета XИ игх сжатых по отдельности даже без добавления какого-то лишнего оверхед то вы видите что размер этих архивов в сумме больше чем размер архива который зажимает одновременно X и Y То есть это подтверждает нас тезис о том что еслиу вас есть объективно хороший компрессор который умеет находить паттерны в данных и переиспользовать их эффективно то сжимая одновременно СТ X и Y Вы будете использовать какую-то часть знаний из одного датасета для того чтобы лучше пожать другой датасет Нуи обратно на самом деле тоже верно здесь разница конечно незначительна чем будет больше ваш датасет и чем лучше ваша Модель которая находит паттерны и выявляет зависимости тем ше эта разница будет становиться со временем Давайте отвлечся и посмотрим на
4. Вселенная данных, MDL и колмогоровская сложность
Концепция the Universe of Data и высказывание Соломонова о том, что данные лучше всего предсказывает самый маленький исполняемый архив. Связь с принципом Minimum Description Length и колмогоровской сложностью объясняет, почему обучение нейросети — это поиск оптимальной программы, сжимающей данные.
ситуацию под новым углом пусть у вас есть следующее изображение в нём синий большой эллипс - это то что называется the Universe of Data к сожалению не нашёл хорошего русскоязычного перевода Поэтому будем использовать формулировку либо Вселенная данных либо Theunivers of Data это всё множество данных которое потенциально может быть валидный в нашей Вселенной Просто большинство из этих данных на самом деле мы не наблюдаем или они ещё не были порождены самый лучший пример который можно привести это либоновое состояние доски в го либо в шахматах либо порядок карт в вашей колоде игровых карт Потому что если Вы хорошо их перемешайте с большой вероятностью вы получите комбинацию которая ни разу до этого в мире не встречалась но приэтом эта комбинация Понятно Будет валидно и все данные которые нам доступны которые мы наблюдаем и в идеале наверно Даже записываем сохраняем это лишь очень-очень маленький Островок на этом the Universe ofa это доступные нам данные и на этих доступных
данных мы можем либо тренировать наши арит Либо мы можем их сжимать нашим суперум офигенным компрессором Давайте подумаем В чём вообще Наша задача когда мы говорим про этот оранжевый эллипс во-первых если мы говорим что мы хотим обучиться на этоморанжевом эллипсе то мы бы очень сильно хотели чтобы знания которые мы извлекаем при обучении э они были максимально возможны приближены к пониманию природы этих данных то есть мы не просто запоминаем эту выборку и очень хорошо работаем на нейно и также умеем понимать что породило эту выборку и это очень хорошо обобщается или
генерализованных то же самое опять же применимо к например к шахматам или го Вы можете натренировать свою модель на одном наборе валидный ходов и ситуация на доске и после этого встречая новую ситуацию модель должна из-за того что она хорошообобщается она должна предсказывать в среднем достаточно хорошие шаги Возможно даже этого должно хватать для того чтобы победить человека в этих играх и есть очень интересная высказывани рея Соломонова из середины XX века Вот если the Universe of Data созданапосредством некоторого алгоритма то выборка наблюдений порождённая им это как раз таки наш оранжевый эллипс лучше всего предсказывает самым маленьким исполняемым архивом этих данных Что такое самый маленький исполняемый архив это в некотором смысле программа которая будучи запущенной или алгоритмкоторый будучи запущенными воспроизведён Ну вы можете сказать Ну так можно же просто запомнить все эти данные но как мы обсудили очень важно уметь находить паттерны в этих наблюдениях которые нам доступны и чем больше паттернов вы найдёте осмысленных тем
меньше будет ваш архив потому что вам не придётся записывать большое количество лишней информации вы знаете как эту информацию порождать и тут опять же очень большая связь с компрессией и с моделированием языка большими языковыми моделями или даже обычными языковымимоделями не обязательно большими если вам интереснее углубиться в тему того что ещё подразумевается под самым маленьким исполняемым архивом Вы можете загуглить следующую формулировку Minimum description length или mdl сокращённо это на самом деле один из основных принципов машинного обучениякоторый достаточно хорошо объясняет Почему что-то вообще должно работать возможно вас смущает формулировка Есть ли The univers of Data создана посредством алгоритма является ли наша Вселенная результатом некоторого алгоритма Ну тут понятно что алгоритм имеется в более широком смысле этоне обязательно какая-то компьютерная программа которую мы можем запустить это в том числе просто некоторый набор грубо говоря природных вещей которые нам даны свыше такие как законы физики или принцип того как думают люди или как устроен наш язык они
все имеют в некотором смысле свою систему Да эти системы имеют исключения но так или иначе есть некоторые закономерности которые лежат в основе всех данных которые мы можем наблюдать и мы можем очень хорошо научиться предсказывать эти вещи а точто мы не умеем предсказывать мы будем называть шумом или просто энтропией которую мы не можем хорошо предсказать и как раз эту энтропию Обычно нужно будет записывать как дополнение грубо говоря к нашим предсказаниям Мы про это мы чуть позжеещё поговорим самое интересное что всё это предложение оно математически доказуемо и оно работает в нашей жизни собственно самый маленький исполняемый архив - это и есть mdl это понятие неразрывно связано со следующим понятием колмогоровская сложность это мера вычислительных ресурсовнеобходимых для точного определения какого-то объекта колмогоровская сложность указывает на лучший из возможных компрессоров понятно что лучший из возможных компрессоров это тот который даёт архив самого маленького размера но можно что это определение оно для нас бессмысленно и практически неприменимо
почему же потому что колмогоровская сложность или колмогоровский компрессор - это не Вычисли вещи это не алгоритмы не существует эффективного способа вычисления то есть колмогоровская сложности и глядя на какие-то данные или на любую на самом деле сущность мы неможем оценить какая у неё колмогоровская сложность мы можем посчитать коровку сложность для какого-то обекта и сравнить е например с реализацией другого компрессора и сказать вроде бы лучше другого потому что он более эффективно сжимает Но насколько от этого Лайнаможно улучшить мы не можем определить даже наверное для самых простых программ которые там чуть-чуть сложнее чем игрушечные примеры это невозможно И тут я бросаю вас очень интересное утверждение по ходу тренировки нейросети обучаются сжимать данные Ну почему это правильнодавайте рассмотрим языковые модели мы обучаем их на Крос энтропию по ходу улучшения Крос энтропии по ходу обучения нашей модели также уменьшается и энтропия А как мы уже выяснили Чем ниже энтропия тем лучше происходит компрессия очень легко об этом
рассуждать в терминах компрессия тогда можно сказать что процесс обучения стохастическим градиентным спуском любой глубокой нейросети - это в некотором смысле поиск оптимальной программы моделирующий зависимости в данных и воспроизводящих эти данные Тут ещё есть очень интересное слово cqu обязательнозапомните его Мы про него поговорим ближе к концу нашего модуля итак по ходу обучения мы тренируем нашу модель лучше сжимать данные или сжимать их наилучшим образом это как мы верим улучшает генерализации и обобщающую способность Почему Потому что мыприближаемся к некоторой колмогоровский сложности наших данных и если мы не переусердствуй с выучиваем каких-то лишних паттернов то мы обеспечиваем лучшее сжатие которое приводит к меньше энтропий собственно когда мы обучаем нашу модель мы смотрим на график энтропии и говоримНу да вроде стало лучше очень важно понимать что Несмотря на то что мы обучаемся на нашем оранжевом эллипсе Мы очень сильно переживаем за качество работы нашего алгоритма на тех данных которые мы ещё не видели или которые потенциально ещ
даже не существуют но не могут появиться в нашем мире например новое состояние доски или в шахматах для этого нужно тренировать нети И на самом деле любой другой алгоритм так чтобы они не запоминали тренировочную выборку а находили некоторые паттересть уме запоминания влом что ничего я вам нового не сказал с точки зрения теории машинного обучения Однако Как вы видите это всё имеет прямую связь с компрессией то есть сжатием данных с более эффективно Давайте подумаем как вообще это
5. Мысленный эксперимент с двумя суперкомпьютерами
Разбор графика обучения LLaMA и подсчёт энтропии в 400 ГБ при сжатии 5,6 ТБ текста. Подробно описывается схема передачи датасета между суперкомпьютерами через узкий канал: детерминированная инициализация трансформера, кодирование невязок предсказаний через арифметическое кодирование и синхронное обучение обеих моделей.
вписывается в практическую картинку Сначала я дам верхни уровневое описание а затем мы пошагово разберём что вообще происходит перед вами график обучения большой языковой модели семейства Лама Лама 1 из оригинальной статьи 2023 года если вы не знаете что такоеЛама ничего страшного Это просто большой Трансформер который очень долго обучается на задаче предсказания следующего слова или следующего токена На огромном корпусе данных здесь показана одна Эпоха то есть нени одни данные здесь не повторяются и глядя на этот графикчто мы можем сказать У нас здесь изображена энтропия которая у нас получается при обучении модели в этом датасете всего представлено порядка 5,6 терабайт сырого текста если мы посмотрим на этот график то это график функции потерь обучения нашей моделипоскольку мы обычно обучаем то мы можем посчитать сколько перплексус модели Для этого нам нужно взять интеграл по всей площади обучения нашей модели просуммировать все индивидуальные энтропии которые у нас возникают и Если вы это сделаете у вас получится примерно
400 ГБ энтропия Почему я говорю 400 ГБ энтропии потому что энтропия как я говорил - это мера неопределённости и существует эффективный способ её выразить в машиночитаемом виде Поэтому если у вас есть три бита энтропии то вы можете потратить3 бита в вашем компьютере для того чтобы эту энтропию закодировать если вам интереснее углубиться в эту тему Или вы не хотите верить мне на слово что в целом правильно вы можете загуглить арифметическое кодирование которое я уже упоминал раньшеНо самое главное Во что вам нужно поверить или проверить Если вы любознательность есть к бит энтропии то вы можете её сжать примерно к битами реальной информации и Чуть позже я покажу почему это важно и почему это работает ик этим 400 гбм энтропии мы добавляем некоторый код который собственно производит обучение этой модели На некотором датасете а чуть позже станет понятно какие требования к этому коду мы предъявляем и почему я здесь пишу примерно 1 Мб если мы
верим в эту ситуацию в эту картину то получается что мы оригинальный датасет 5,6 ТБ сжимаем до 400 ГБ для примера Существует такой конкурс называется The hatter Price он существует Больше 15 лет и его задача - это эффективно сжать1 ГБ Википедии раньше было чуть меньше Но сейчас это 1 Гб и люди много-много лет бьются над тем чтобы по чуть-чуть улучшать сжатие и вот там достигают сжатия менее чем в дев раз а тут мы нажимаем языковую модельюпо ходу её обучения более 5 ТБ текста в 14 раз то есть мы получаем гораздо более эффективное сжатие и от исследований из de майда есть очень интересная статья называется Language modeling is compression очень рекомендую с ней ознакомиться ив целом там как раз происходит сравнение традиционных способов сжатия изображений звуков и других модальностей и того что делает обычный трансформер спойлер трансформер оказывается наиболее эффективным компрессором лучше чем специально заточные алгоритмы просто потому что он находит гораздо больше паттернов
в Информации но Давайте постараемся вообще понять вот я только что говорил про то что мы возьмём 400 гиб энтропии как это вообще связано с компрессией и почему компрессия - это на самом деле достаточно честный бенчмарк того как вашамодель сжимает Почему в нём нельзя читерить давайте мы очень обыденную ситуацию У вас есть суперкомпьютер оди и суперкомпьютер д между ними есть канал с низкой пропускной способностью такой кабель протянут по которому вы можете передавать информацию достаточно ограниченно поэтомувам хочется сжать эффективно все ваши данные несколько документов несколько десятков тысяч документов потенциально и передать их на второй сервер напомню что мы говорим про суперкомпьютеры у вас огромное количество вычислительных мощностей поэтому обучение и применение моделей не станет проблемойчто мы делаем первое мы пишем скрипт который умеет инициализировать детерминировано трансформер То есть если вы этот скрипт запустите несколько раз он инициализирует один и тот же Случайный трансформер при этом понятно что весь скрипт Сам он не хранит весов
он лишь хранит например сит генерации Ну и также в этот скрипт в окружение можно сложить все бинари для парча Куда докеры В общем всё необходимое по для того чтобы на другом компьютере можно было воспроизвести точно такой же трансформерЗатем вы делаете очень логич вещь вы этот файл Обратите внимание что мы говорим только про файл передаёте на другой сервер поскольку мы говорим про то что этот файл умеет при запуске инициализировать детерминированный трансформер на другом суперкомпьютеров такая жемодель и обе эти модели не будут обученными то есть они очень плохо предсказывают текст буквально случайно выбрасывая те или иные токены и никакого качественного предсказания ждать не нужно Что мы делаем далее мы начинаем обучать наш трансформер локальный наСупер компьютере подавая в него документы которые нам необходимо передать тренировке мы кодируем всю энтропию То есть все ошибки предсказания которые возникают у первого Трансформера и передаём их Через наш канал с низкой пропускной способностью и утверждается опять же из
арифметического кодирования и теории информации что суммарно у вас здесь будет Вот сколько написано на Формуле бит информации необходимо передать и на прошлом слайде мы выяснили что Для датасета текста объёмом 5,6 тба при обучении модели Lama 2 вам необходимобудет передать порядка 400 ГБ вот этих вот кодов Z который используется для того чтобы на удалённой машине производить декодирование чуть позже мы этого
коснёшься разница между тем что модель предсказала и тем что у нас появилось в реальной ситуации и ровно эту разницу мы и будем кодировать напомню что энтропию принято оценивать в байтах или в битах то есть В некоторой мере объёмаинформации и это не зря потому что у нас существуют алгоритмы которые позволяют кодировать напрямую эту энтропию не идеальность наших предсказаний и ровно столько сколько мы говорим Нам необходимо бит энтропии ровно столько нам и нужно для компьютера для тогочтобы эти информацию сохранить Ну и в нашем случае передать Если я говорю у нас получается 6 бит энтропии Значит нам потребуется порядка 6 бит для того чтобы сохранить эту информацию Ну и глядя на формулу легко проверить что этоправда Давайте предположим что наша модель предсказывает идеально То есть она правильному токену X с индексом т даёт вероятность единица тогда логарифм по основанию двух от единицы будет нулём и для того чтобы нам закодировать информацию которую модель предсказывает идеально
нам потребуется но бит невероятно А если предсказанная вероятность Очень низкая то получается что выражение значения логарифма по основанию 2 от какого-то очень маленького числа это будет очень большое число и ровно столько бит нам потребуется для того чтобы этуинформацию закодировать Так мы приходим к ситуации что чем лучше предсказывает модель тем меньше у нас бит энтропии тем меньше нам приходится кодировать но Ключевое что здесь важно понять как я уже обратил Ваше внимание если мы говорим что унас существует пя бит энтропии тогда для того чтобы закодировать эти 5 бит энтропии 5 бит неопределённости относительно предсказаний Трансформера Вам необходимо потратить практически 5 бит информации и ровно эти пять бит вы передаёте что происходит на втором суперкомпьютер выберёте ваш трансформер и подаёт в него например служебный токен beginning of sentence начало предложения этот токен всегда одинаковый и получаете некоторое предсказание для первого токена P1 но это не определённое предсказание это распределение вероятности по всем токенам из вашего
словаря из него непонятно как получить какой-то конкретный токен потому что у нас модель инициализирована случайно она никак вообще абсолютно не предсказывает Наш текст и это может быть и первый токен и сотый токен и тысячный токен абсолютно мы непонимаем и тут как раз нам приходит на помощь та самая закодированная энтропия те коды Z которые мы также передаём через канал с низкой пропускной способностью мы добавляем эти коды к нашим вероятностям и применение этих кодов позволяет нам воссоздаватьоригинальный датасет в данном случае мы воссоздали первый токен из датасета X пер я не буду вдаваться в подробности и объяснять как работает корректирование распределение вероятностей с помощью арифметического козирок сиров Z но опять же вам просто нужно либо проверитьсамостоятельно либо поверить мне на слово что если я говорю У вас есть 5 бит энтропии Вы передаёте по вашему каналу с низкой пропускной способностью 5 бит эти 5 бит каким-либо специальным алгоритмом применяются к распределению вероятности P1 Мы в
таком случае складываем P1 и Z1 и получаем токен X1 и эту же операцию можем повторить снова мы берём наш токен X1 подойдём в начало нашего Трансформера и таким образом генерируем вероятно для второго токена понятно что ровно это жемы делаем и на Супер компьютере о слева на суперкомпьютер о слева мы это сделали получили нашу ошибку закодировали энтропию то есть невязку нашего предсказания насколько наша модель сильно ошибается отправили е в канал с низкой пропускной способностью получили этоткод справа у нас уже есть распределение вероятностей для того второго токена мы добавляем к нему корректирующий код и получаем второй токен ирав повтор этот процесс мы таким образом сказания для первого Бача и потом одновременно когда мы например получилиА по 2.000 токенов на каждом из суперкомпьютеров мы делаем шаг градиентного спуска для обучения модели и наша модель становится чуть-чуть лучше в предсказании токенов по ходу тренировки по ходу обучение получается на нашем большом большом датасете у нас падает
меньше и меньше и меньше бит для того чтобы передать по нашему каналу с низкой пропускной способностью коды кодировки то есть Чем точнее наша модель предсказывает тем меньше нам нужно будет передавать в самом начале мы будем передавать очень многолишних бит Ну они не являются лишними В ремом смысле но это не очень эффективная репрезентация текста Однако с какого-то момента вам потребуется например меньше 8 бит на оди байт информации То есть если у вас есть Например мегабайт текстадля того чтобы воспроизвести его на втором суперкомпьютер с помощью Трансформера который потихонечку обучается вам потребуется скажем пол мегабайта и отсюда возникает выигрыш если мы повторим это на на огромной выборке то мы получим суммарно сжатие как я уже говорилна прошлом слайде примерно в 14 раз это работает сильно лучше компрессия самый главный Аспект Обратите внимание мы не передаём веса Трансформера мы передаём лишь скрипт который случайным образом инициализирует Но каждый раз одинаково одну и ту же модель поэтому
обучая её одновременно на двух суперкомпьютера мы имеем возможность получать одни и те же наборы вероятностей P1 P2 P3 и так далее для того чтобы с одной стороны кодировать датасет а с другой стороны воспроизводить его и когда мы закончимэту процедуру у нас на суперкомпьютер 2 появится полноценно весь абсолютны датасет при том что мы передали сильно-сильно меньше данных чем необходимо было Ну и как я уже сказал на практике это работает гораздо лучше традиционных компрессоров но тут увас возникает вопрос А зачем почему тогда так не делают Зачем используют какие-то другие способы компрессии ответ очевиден для того чтобы прогонять трансформер много-много раз Особенно если это трансформер большой вам требуется большое количество вычислительных мощностей Поэтому с точки зренияэнергозатрат это не очень эффективно но Напоминаю что мы ВС ещё находимся в контексте компрессии для нахождения паттернов и если наш трансформер очень хорош в нахождение паттернов а Глядя на график функции потерь или энтропии которая остаётся в предсказаниях модели
это подтверждается мы получаем улучшение относительно лайно по компрессии интерес фак взто
6. Истоки у Шеннона и итоги лекции
Историческая справка: языковые модели для сжатия были предложены Шенноном в 1948 году. Подводятся итоги модуля: предобучение без учителя выявляет паттерны, качество компрессии связано с генерализацией, а язык — лучший интерфейс для кодирования знаний о мире.
языковые модели были предложены ном в честь которого названа тропи Нона в 1948 году именно с такой постановкой задачи У вас есть два абонента и между ними есть канал с низкой пропускной способностью и каким-то образом нужно эффективно научиться передаватьданные так чтобы на это уходило как можно меньше времени Ну и собственно Шен пришёл к идее того что можно использовать изы ковы модели для того чтобы иметь некоторую базовую Модель которая строит предсказание а затем использовать коды корректировки Zчтобы корректировать энтропию и передавать её это собственно вся абсолютно схема которую мы только что с вами проговорили Если вам непонятно как работает корректировочный код з как я говорил уже дважды загуглите пожалуйста объяснение арифметического кодирования и надеюсь вам всёстанет Понятно Ключевое Я уже повторил кажется трижды Если у вас есть Шесть бит энтропии п бит энтропии вам нужно столько же бит для того чтобы передать их по каналу связи и применяя эту энтропию поверх предсказаний вы получаете оригинальные
токены X1 X2 и таким образом и если это не очевидно мы сейчас говорим полностью про компрессию без потерь то есть на суперкомпьютер номер д на картинке справа у нас появится ровно тот же самый датасет он ни один видинформации в нём не будет искажённом какие-то космические лучи которые мешают нам передавать информацию тем не менее всё это будет считаться очень эффективно Ну что ж получилась достаточно объёмная лекция Давайте подводить итоги первое к чему Мы пришли это точто пред обучени без учителя в теории помогает выявлять полезные паттерны потому что с точки зрения теории информации если мы говорим про компрессию а предсказание равно компрессия в нашем контексте мы по сути изма взаимную информацию из двух наборов данныхи используем её для того чтобы лучше работать с одним из этих наборов или на самом деле можно и с двумя и чем лучше наша модель улавливает паттерны тем она по сути эффективнее сжимает то есть тем ниже у неё
кронт тем ниже у неё плекси А значит эта модель и лучше сказывает кажется что это ситуация winwin где мы и лучше сжимаем и лучше предсказываем при этом качество компрессии можно улучшать огромным количеством разных трюков самый простой - этоувеличение вашей модели потому что она сможет находить больше паттернов возможно часть необходимой информации которая часто мелькает в данных ей придётся запомнить но можно и улучшать архитектуру и обшивать вашу модель Или не обязательно модели какой-то алгоритм дополнительными приёмами ив конечном итоге мы больше всего переживаем за генерализации а не энтропию во время нашей тренировки то есть мы должны удостовериться что наша модель не переобуться на тех данных которые мы даём И что она очень хорошо обобщается на Theunivers of D и очень важно что мы здесь когда говорим про языковые модели Почему важно что мы работаем с языком Потому что люди стараются в тексте делать очень последовательное изложение информации и это наша лучшая попытка нашего Это в
смысле всего человеческого вида максимально эффективно закодировать ВС что касается мира вся физика вся математика вся теория которая у нас есть Она обычно написана на бумаге её можно прочитать с ней можно ознакомиться И самое главное - это очень удобныйинтерфейс если у нас будет модель которая умеет естественным языком описывать паттерны которые Она находит в данных и мы можем на основе этого как-то учиться и утилизировать то это будет тоже очень круто а на этом первая часть заканчивается будуждать вас в следующей части