Commit Graph

6 Commits

Author SHA1 Message Date
Sergey Penkovsky
420c45dc74 Реализация Decoder для трансформера
- Основной модуль декодера (Decoder) с:
  * Self-Attention механизмом
  * Encoder-Decoder Attention слоем
  * LayerNormalization
  * Позиционными эмбеддингами
- Примеры использования с документацией
- Полный набор unit-тестов
- Документация на русском языке
2025-07-21 11:00:49 +03:00
Sergey Penkovsky
d9af3dba35 Optimize feed forward: improve dtype handling and layer processing 2025-07-21 10:07:52 +03:00
Sergey Penkovsky
e5fc85f336 Полная реализация FeedForward
- Основной класс FeedForward
- Тесты для всех функций
- Пример использования с визуализацией
- Документация с блок-схемой
2025-07-20 14:28:18 +03:00
Sergey Penkovsky
75f99d5def Добавление тестов для MultiHeadAttention + финальные правки 2025-07-19 22:27:22 +03:00
Sergey Penkovsky
034b515846 Реализация MultiHeadAttention
- Добавлен класс MultiHeadAttention
- Создана документация с блок-схемой
- Добавлен пример использования
- Обновлен README.md
2025-07-19 22:24:05 +03:00
Sergey Penkovsky
a150828665 Добавление механизма внимания HeadAttention
- Реализация одного головного внимания из Transformer
- Полная документация на русском языке
- Пример использования с визуализацией
- Обновление README с ссылками
2025-07-19 11:35:11 +03:00