Simple-LLM Framework

Простая и понятная реализация языковой модели GPT-стиля с нуля на PyTorch

🔍 Обзор

Simple-LLM предоставляет:

• Полную реализацию архитектуры GPT
• Эффективный токенизатор BPE
• Модули трансформера (внимание, FFN, эмбеддинги)
• Гибкую систему генерации текста
• Примеры использования и документацию

🚀 Быстрый старт

1. Установите зависимости:

pip install torch numpy tqdm

2. Запустите пример генерации:

python example/example_gpt.py

🧠 Основные компоненты

Обработка данных

from simple_llm.data.get_data import GetData

dataset = GetData(
    data=[1, 2, 3, 4, 5],  # Входная последовательность
    seq_len=3,             # Длина окна
    device="cuda"          # Устройство (опционально)
)

Модель GPT

from simple_llm.transformer.gpt import GPT

model = GPT(
    vocab_size=10000,
    max_seq_len=512,
    emb_size=768,
    num_heads=12,
    num_layers=6
)

Генерация текста

output = model.generate(
    input_ids,
    max_new_tokens=100,
    temperature=0.9,
    top_k=50,
    top_p=0.9
)

📚 Документация

Полная документация доступна в doc/:

• Архитектура GPT
• Алгоритм BPE
• Обработка последовательностей
• Примеры использования

🛠 Тестирование

pytest tests/

🤝 Как внести вклад

1. Форкните репозиторий
2. Создайте ветку (git checkout -b feature/AmazingFeature)
3. Сделайте коммит (git commit -m 'Add some AmazingFeature')
4. Запушьте ветку (git push origin feature/AmazingFeature)
5. Откройте Pull Request

📜 Лицензия

Распространяется под лицензией MIT. См. LICENSE