simple-llm/doc/index.md

Навигация по документации Simple-LLM

Документация актуальна для Simple-LLM v1.0 (июль 2025)

---

Содержание

• Архитектура GPT
  • Описание, блок-схемы, режимы генерации, обучение, типовые ошибки
• Алгоритм BPE
  • Теория, примеры, псевдокод, FAQ
• Обработка данных
  • Форматы, примеры, рекомендации
• Обучение на своих данных
  • Подробная инструкция по обучению токенизатора и модели
• Внимание (Attention)
  • Описание механизма, формулы
• Мультиголовное внимание
  • Теория, схемы
• Позиционные эмбеддинги
  • Теория, примеры
• Токен-эмбеддинги
  • Описание, схемы, примеры
• Feed Forward слой
  • Теория, формулы
• Декодер
  • Архитектура, схема

---

Как пользоваться документацией

• Для быстрого старта изучите README.md
• Для понимания архитектуры — GPT и BPE
• Для деталей по каждому модулю — соответствующий файл из списка выше
• Для практики — смотрите примеры в папке example/
• Для тестирования — используйте тесты из папки tests/

---

Если вы нашли ошибку или хотите предложить улучшение — создайте issue или pull request на GitHub!