simple-llm

mirror of https://github.com/pese-git/simple-llm.git synced 2026-01-23 21:14:17 +00:00

Files

Sergey Penkovsky ae87faddc2 feat: добавление реализации модели GPT

Основные изменения:
- Реализован основной класс GPT в simple_llm/transformer/gpt.py:
  * Токенные и позиционные эмбеддинги
  * Многоголовое внимание
  * Полносвязные слои
  * Нормализация слоев
  * Поддержка dropout

- Добавлен пример использования в example/example_gpt.py:
  * Инициализация модели
  * Генерация текста
  * Сохранение/загрузка модели

- Написаны тесты:
  * Базовый функционал модели
  * Операции сохранения/загрузки
  * Проверка размерностей ввода/вывода

- Добавлена документация на русском:
  * Обзор архитектуры
  * Процесс обучения
  * Примеры использования

- Обновлен README.md с информацией о GPT

2025-07-22 06:26:23 +03:00

bpe_algorithm.drawio

feat: implement bpe algorithm

2025-07-11 12:21:33 +03:00

bpe_algorithm.md

doc: update bpe algorithm

2025-07-12 11:19:54 +03:00

decoder_ru.md

Реализация Decoder для трансформера

2025-07-21 11:00:49 +03:00

feed_forward_ru.md

Добавлена документация для FeedForward слоя