Commit Graph

9 Commits

Author SHA1 Message Date
Sergey Penkovsky
420c45dc74 Реализация Decoder для трансформера
- Основной модуль декодера (Decoder) с:
  * Self-Attention механизмом
  * Encoder-Decoder Attention слоем
  * LayerNormalization
  * Позиционными эмбеддингами
- Примеры использования с документацией
- Полный набор unit-тестов
- Документация на русском языке
2025-07-21 11:00:49 +03:00
Sergey Penkovsky
8c5baa0e33 Обновление README: добавлена полная архитектура Transformer
- Добавлен пример полного пайплайна
- Структурированы компоненты (токенизация, эмбеддинги, слои)
- Обновлены команды для примеров
2025-07-20 14:34:17 +03:00
Sergey Penkovsky
3c1fd4c80c Обновление README: добавлена информация о MultiHeadAttention
- Добавлен пример использования MultiHeadAttention
- Обновлена схема архитектуры
- Добавлены новые команды разработки
- Улучшена структура документации
2025-07-19 22:20:12 +03:00
Sergey Penkovsky
2f390145cf Рефакторинг документации: новая структура README
- Добавлены badges Python/PyTorch
- Включена Mermaid-схема архитектуры
- Улучшена навигация с оглавлением
- Добавлена таблица примеров
- Унифицирован стиль документации
2025-07-19 12:05:20 +03:00
Sergey Penkovsky
a150828665 Добавление механизма внимания HeadAttention
- Реализация одного головного внимания из Transformer
- Полная документация на русском языке
- Пример использования с визуализацией
- Обновление README с ссылками
2025-07-19 11:35:11 +03:00
Sergey Penkovsky
9765140f67 Обновление README: добавлена информация о модулях эмбеддингов
- Описание TokenEmbeddings и PositionalEmbeddings
- Пример использования векторных представлений
- Ссылки на документацию
2025-07-18 00:31:08 +03:00
Sergey Penkovsky
6f2de3c13d docs(readme): add encode/decode examples and output samples 2025-07-13 01:08:37 +03:00
Sergey Penkovsky
362a7483e6 feat: implement bpe algorithm 2025-07-11 12:21:33 +03:00
Sergey Penkovsky
45eaaabd51 Initial commit 2025-07-08 14:42:24 +03:00