penkovsky_sa/simple-llm
1
0
Fork 0
mirror of https://github.com/pese-git/simple-llm.git synced 2026-01-23 21:14:17 +00:00
Code Issues Packages Projects Releases Wiki Activity
Files
420c45dc744b8b935330d7259872f4058d23a0e8
simple-llm/README.md
Sergey Penkovsky 420c45dc74 Реализация Decoder для трансформера 
- Основной модуль декодера (Decoder) с:
  * Self-Attention механизмом
  * Encoder-Decoder Attention слоем
  * LayerNormalization
  * Позиционными эмбеддингами
- Примеры использования с документацией
- Полный набор unit-тестов
- Документация на русском языке
2025-07-21 11:00:49 +03:00

1.9 KiB
Raw Blame History

Simple LLM Framework

Python 3.9+ PyTorch 2.0+

Основные компоненты

Токенизация

  • SimpleBPE - алгоритм Byte Pair Encoding
  • OptimizeBPE - оптимизированная версия

Эмбеддинги

  • TokenEmbeddings - векторные представления токенов
  • PositionalEmbeddings - позиционное кодирование

Transformer Layers

  • HeadAttention - механизм внимания одной головы
  • MultiHeadAttention - многоголовое внимание (4-16 голов)
  • FeedForward - двухслойная FFN сеть (расширение → сжатие)
  • Decoder - полный декодер Transformer (Self-Attention + FFN)

Быстрый старт

from simple_llm import SimpleBPE, MultiHeadAttention, FeedForward

# 1. Токенизация
bpe = SimpleBPE().fit(text_corpus)
tokens = bpe.encode("Пример текста")

# 2. Полный пайплайн
model = nn.Sequential(
    TokenEmbeddings(10000, 256),
    PositionalEmbeddings(256, 512),
    MultiHeadAttention(8, 256, 32),
    FeedForward(256)
)

Документация

Примеры

# Запуск примеров
python -m example.multi_head_attention_example  # Визуализация внимания
python -m example.feed_forward_example         # Анализ FFN слоя
python -m example.decoder_example              # Демонстрация декодера

Установка

git clone https://github.com/pese-git/simple-llm.git
cd simple-llm
pip install -e .