penkovsky_sa/simple-llm
1
0
Fork 0
mirror of https://github.com/pese-git/simple-llm.git synced 2026-01-23 21:14:17 +00:00
Code Issues Packages Projects Releases Wiki Activity
28 Commits 2 Branches 0 Tags
5765eb3bd38778b93a304c24129bbd0f0be28513
Commit Graph

12 Commits

Author SHA1 Message Date
Sergey Penkovsky
5765eb3bd3 Обновление метода generate в GPT 
Основные изменения:
1. Добавлена поддержка различных стратегий генерации:
   - Жадный поиск (do_sample=False)
   - Вероятностное сэмплирование (do_sample=True)
   - Top-k сэмплирование (top_k параметр)
   - Nucleus (top-p) сэмплирование (top_p параметр)
   - Температурное сэмплирование (temperature параметр)

2. Добавлена валидация параметров:
   - Проверка temperature > 0
   - Проверка top_k > 0
   - Проверка top_p в диапазоне (0, 1]
   - Запрет одновременного использования top_k и top_p

3. Улучшена документация:
   - Подробное описание всех параметров
   - Примеры использования
   - Примечания о детерминированности
   - Описание исключений

4. Оптимизация кода:
   - Эффективное обрезание последовательности
   - Оптимизированные операции с тензорами
   - Четкое разделение логики для разных режимов
 2025-07-22 10:53:57 +03:00
Sergey Penkovsky
ae87faddc2 feat: добавление реализации модели GPT 
Основные изменения:
- Реализован основной класс GPT в simple_llm/transformer/gpt.py:
  * Токенные и позиционные эмбеддинги
  * Многоголовое внимание
  * Полносвязные слои
  * Нормализация слоев
  * Поддержка dropout

- Добавлен пример использования в example/example_gpt.py:
  * Инициализация модели
  * Генерация текста
  * Сохранение/загрузка модели

- Написаны тесты:
  * Базовый функционал модели
  * Операции сохранения/загрузки
  * Проверка размерностей ввода/вывода

- Добавлена документация на русском:
  * Обзор архитектуры
  * Процесс обучения
  * Примеры использования

- Обновлен README.md с информацией о GPT
 2025-07-22 06:26:23 +03:00
Sergey Penkovsky
420c45dc74 Реализация Decoder для трансформера 
- Основной модуль декодера (Decoder) с:
  * Self-Attention механизмом
  * Encoder-Decoder Attention слоем
  * LayerNormalization
  * Позиционными эмбеддингами
- Примеры использования с документацией
- Полный набор unit-тестов
- Документация на русском языке
 2025-07-21 11:00:49 +03:00
Sergey Penkovsky
d9af3dba35 Optimize feed forward: improve dtype handling and layer processing 2025-07-21 10:07:52 +03:00
Sergey Penkovsky
e5fc85f336 Полная реализация FeedForward 
- Основной класс FeedForward
- Тесты для всех функций
- Пример использования с визуализацией
- Документация с блок-схемой
 2025-07-20 14:28:18 +03:00
Sergey Penkovsky
75f99d5def Добавление тестов для MultiHeadAttention + финальные правки 2025-07-19 22:27:22 +03:00
Sergey Penkovsky
034b515846 Реализация MultiHeadAttention 
- Добавлен класс MultiHeadAttention
- Создана документация с блок-схемой
- Добавлен пример использования
- Обновлен README.md
 2025-07-19 22:24:05 +03:00
Sergey Penkovsky
a150828665 Добавление механизма внимания HeadAttention 
- Реализация одного головного внимания из Transformer
- Полная документация на русском языке
- Пример использования с визуализацией
- Обновление README с ссылками
 2025-07-19 11:35:11 +03:00
Sergey Penkovsky
32bca15069 Комплексное обновление проекта 
- Добавлена документация по эмбеддингам (markdown + drawio)
- Реализован модуль PositionalEmbeddings
- Обновлен .gitignore
- Исправлено имя модуля token_embeddings.py
 2025-07-18 00:25:55 +03:00
Sergey Penkovsky
87a38e06c4 Переименовал token_embedings.py → token_embeddings.py (исправление опечатки) 2025-07-18 00:17:37 +03:00
Sergey Penkovsky
6d746a960e feat: implement encode/decode methods 2025-07-12 11:48:34 +03:00
Sergey Penkovsky
362a7483e6 feat: implement bpe algorithm 2025-07-11 12:21:33 +03:00