Основные изменения:
- Реализован основной класс GPT в simple_llm/transformer/gpt.py:
* Токенные и позиционные эмбеддинги
* Многоголовое внимание
* Полносвязные слои
* Нормализация слоев
* Поддержка dropout
- Добавлен пример использования в example/example_gpt.py:
* Инициализация модели
* Генерация текста
* Сохранение/загрузка модели
- Написаны тесты:
* Базовый функционал модели
* Операции сохранения/загрузки
* Проверка размерностей ввода/вывода
- Добавлена документация на русском:
* Обзор архитектуры
* Процесс обучения
* Примеры использования
- Обновлен README.md с информацией о GPT
- Основной модуль декодера (Decoder) с:
* Self-Attention механизмом
* Encoder-Decoder Attention слоем
* LayerNormalization
* Позиционными эмбеддингами
- Примеры использования с документацией
- Полный набор unit-тестов
- Документация на русском языке
