Интерактивная схема / LoRA
Лаборатория LoRA
Проследите, как небольшая низкоранговая поправка добавляется к замороженной базовой модели. Шаги и числа заданы заранее для объяснения идеи.
Только учебная симуляция
Здесь нет запуска обучения, пользовательских данных или настоящих весов модели. Матрицы, примеры и условная активность синтетические; базовая модель остаётся неизменной.
Базовый ответ
Сначала фиксируем исходный ответ модели.
Фиксированный пример
Кот гонится за мячом.
Целевой пример
Кот гонится за мячом.
Базовая модель
Исходное состояниеИсходные веса W₀
Ответ базовой модели
Кот смотрит на мяч.
Обучаемый адаптер
Условные параметрыВыход симуляции
До применения поправки
Кот смотрит на мяч.
Как складывается поправка
W′ = W₀ + (α / r) · B · A
A переводит представление в пространство ранга r, B возвращает его в размерность модели. Их произведение масштабируется и складывается с W₀.
2
Ранг r
4
Масштаб α
r ≪ d
Низкий ранг: r ≪ d