7 Commits

Author	SHA1	Message	Date
Sergey Penkovsky	ae87faddc2	feat: добавление реализации модели GPT ... Основные изменения: - Реализован основной класс GPT в simple_llm/transformer/gpt.py: * Токенные и позиционные эмбеддинги * Многоголовое внимание * Полносвязные слои * Нормализация слоев * Поддержка dropout - Добавлен пример использования в example/example_gpt.py: * Инициализация модели * Генерация текста * Сохранение/загрузка модели - Написаны тесты: * Базовый функционал модели * Операции сохранения/загрузки * Проверка размерностей ввода/вывода - Добавлена документация на русском: * Обзор архитектуры * Процесс обучения * Примеры использования - Обновлен README.md с информацией о GPT	2025-07-22 06:26:23 +03:00
Sergey Penkovsky	420c45dc74	Реализация Decoder для трансформера ... - Основной модуль декодера (Decoder) с: * Self-Attention механизмом * Encoder-Decoder Attention слоем * LayerNormalization * Позиционными эмбеддингами - Примеры использования с документацией - Полный набор unit-тестов - Документация на русском языке	2025-07-21 11:00:49 +03:00
Sergey Penkovsky	d9af3dba35	Optimize feed forward: improve dtype handling and layer processing	2025-07-21 10:07:52 +03:00
Sergey Penkovsky	e5fc85f336	Полная реализация FeedForward ... - Основной класс FeedForward - Тесты для всех функций - Пример использования с визуализацией - Документация с блок-схемой	2025-07-20 14:28:18 +03:00
Sergey Penkovsky	75f99d5def	Добавление тестов для MultiHeadAttention + финальные правки	2025-07-19 22:27:22 +03:00
Sergey Penkovsky	034b515846	Реализация MultiHeadAttention ... - Добавлен класс MultiHeadAttention - Создана документация с блок-схемой - Добавлен пример использования - Обновлен README.md	2025-07-19 22:24:05 +03:00
Sergey Penkovsky	a150828665	Добавление механизма внимания HeadAttention ... - Реализация одного головного внимания из Transformer - Полная документация на русском языке - Пример использования с визуализацией - Обновление README с ссылками	2025-07-19 11:35:11 +03:00