penkovsky_sa/simple-llm
1
0
Fork 0
mirror of https://github.com/pese-git/simple-llm.git synced 2026-01-23 21:14:17 +00:00
Code Issues Packages Projects Releases Wiki Activity
Files
6832978dc1fa126e68039faded6dab942979c9aa
simple-llm/README.md
Sergey Penkovsky 8c5baa0e33 Обновление README: добавлена полная архитектура Transformer 
- Добавлен пример полного пайплайна
- Структурированы компоненты (токенизация, эмбеддинги, слои)
- Обновлены команды для примеров
2025-07-20 14:34:17 +03:00

1.7 KiB
Raw Blame History

Simple LLM Framework

Python 3.9+ PyTorch 2.0+

Основные компоненты

Токенизация

  • SimpleBPE - алгоритм Byte Pair Encoding
  • OptimizeBPE - оптимизированная версия

Эмбеддинги

  • TokenEmbeddings - векторные представления токенов
  • PositionalEmbeddings - позиционное кодирование

Transformer Layers

  • HeadAttention - механизм внимания одной головы
  • MultiHeadAttention - многоголовое внимание (4-16 голов)
  • FeedForward - двухслойная FFN сеть (расширение → сжатие)

Быстрый старт

from simple_llm import SimpleBPE, MultiHeadAttention, FeedForward

# 1. Токенизация
bpe = SimpleBPE().fit(text_corpus)
tokens = bpe.encode("Пример текста")

# 2. Полный пайплайн
model = nn.Sequential(
    TokenEmbeddings(10000, 256),
    PositionalEmbeddings(256, 512),
    MultiHeadAttention(8, 256, 32),
    FeedForward(256)
)

Документация

Примеры

# Запуск примеров
python -m example.multi_head_attention_example  # Визуализация внимания
python -m example.feed_forward_example         # Анализ FFN слоя

Установка

git clone https://github.com/pese-git/simple-llm.git
cd simple-llm
pip install -e .