Sergey Penkovsky
420c45dc74
Реализация Decoder для трансформера
...
- Основной модуль декодера (Decoder) с:
* Self-Attention механизмом
* Encoder-Decoder Attention слоем
* LayerNormalization
* Позиционными эмбеддингами
- Примеры использования с документацией
- Полный набор unit-тестов
- Документация на русском языке
2025-07-21 11:00:49 +03:00
Sergey Penkovsky
e6dfdea015
Обновление тестов FeedForward: упрощение проверок инициализации и dropout
2025-07-21 10:26:25 +03:00
Sergey Penkovsky
a7f9cce13c
Обновление тестов BPE: адаптация под текущую реализацию алгоритмов
2025-07-21 10:23:15 +03:00
Sergey Penkovsky
e5fc85f336
Полная реализация FeedForward
...
- Основной класс FeedForward
- Тесты для всех функций
- Пример использования с визуализацией
- Документация с блок-схемой
2025-07-20 14:28:18 +03:00
Sergey Penkovsky
75f99d5def
Добавление тестов для MultiHeadAttention + финальные правки
2025-07-19 22:27:22 +03:00
Sergey Penkovsky
6373b4e241
Добавление тестов для HeadAttention
2025-07-19 11:40:12 +03:00
Sergey Penkovsky
b43e6a85f4
Обновление тестов после переименования модуля эмбеддингов
...
- Исправлены импорты в test_token_embeddings.py
- Проверена работоспособность всех тестов
- Добавлены комментарии для будущих интеграционных тестов
2025-07-18 00:24:00 +03:00
Sergey Penkovsky
ea9d63da3a
Обновил импорты после переименования token_embedings.py → token_embeddings.py
2025-07-18 00:19:43 +03:00
Sergey Penkovsky
362a7483e6
feat: implement bpe algorithm
2025-07-11 12:21:33 +03:00
