mirror of
https://github.com/pese-git/simple-llm.git
synced 2026-01-23 21:14:17 +00:00
420c45dc74
- Основной модуль декодера (Decoder) с: * Self-Attention механизмом * Encoder-Decoder Attention слоем * LayerNormalization * Позиционными эмбеддингами - Примеры использования с документацией - Полный набор unit-тестов - Документация на русском языке
60 lines
1.9 KiB
Markdown
60 lines
1.9 KiB
Markdown
# Simple LLM Framework
|
|
|
|
[]()
|
|
[]()
|
|
|
|
## Основные компоненты
|
|
|
|
### Токенизация
|
|
- `SimpleBPE` - алгоритм Byte Pair Encoding
|
|
- `OptimizeBPE` - оптимизированная версия
|
|
|
|
### Эмбеддинги
|
|
- `TokenEmbeddings` - векторные представления токенов
|
|
- `PositionalEmbeddings` - позиционное кодирование
|
|
|
|
### Transformer Layers
|
|
- `HeadAttention` - механизм внимания одной головы
|
|
- `MultiHeadAttention` - многоголовое внимание (4-16 голов)
|
|
- `FeedForward` - двухслойная FFN сеть (расширение → сжатие)
|
|
- `Decoder` - полный декодер Transformer (Self-Attention + FFN)
|
|
|
|
## Быстрый старт
|
|
|
|
```python
|
|
from simple_llm import SimpleBPE, MultiHeadAttention, FeedForward
|
|
|
|
# 1. Токенизация
|
|
bpe = SimpleBPE().fit(text_corpus)
|
|
tokens = bpe.encode("Пример текста")
|
|
|
|
# 2. Полный пайплайн
|
|
model = nn.Sequential(
|
|
TokenEmbeddings(10000, 256),
|
|
PositionalEmbeddings(256, 512),
|
|
MultiHeadAttention(8, 256, 32),
|
|
FeedForward(256)
|
|
)
|
|
```
|
|
|
|
## Документация
|
|
- [Токенизация](/doc/bpe_algorithm.md)
|
|
- [MultiHeadAttention](/doc/multi_head_attention_ru.md)
|
|
- [FeedForward](/doc/feed_forward_ru.md)
|
|
- [Decoder](/doc/decoder_ru.md)
|
|
|
|
## Примеры
|
|
```bash
|
|
# Запуск примеров
|
|
python -m example.multi_head_attention_example # Визуализация внимания
|
|
python -m example.feed_forward_example # Анализ FFN слоя
|
|
python -m example.decoder_example # Демонстрация декодера
|
|
```
|
|
|
|
## Установка
|
|
```bash
|
|
git clone https://github.com/pese-git/simple-llm.git
|
|
cd simple-llm
|
|
pip install -e .
|
|
```
|