Документация и примеры: унификация путей, стабильная работа на CPU, расширенный корпус для токенизатора, end-to-end пайплайн обучения и генерации. Исправлены все ошибки с устройствами и индексами, добавлены проверки и диагностика prompt.

This commit is contained in:
Sergey Penkovsky
2025-07-23 14:34:10 +03:00
parent a895c59bfe
commit e0813fedc6
22 changed files with 768 additions and 93 deletions

42
doc/index.md Normal file
View File

@@ -0,0 +1,42 @@
# Навигация по документации Simple-LLM
> **Документация актуальна для Simple-LLM v1.0 (июль 2025)**
---
## Содержание
- [Архитектура GPT](./gpt_documentation_ru.md)
- Описание, блок-схемы, режимы генерации, обучение, типовые ошибки
- [Алгоритм BPE](./bpe_algorithm.md)
- Теория, примеры, псевдокод, FAQ
- [Обработка данных](./get_data_documentation_ru.md)
- Форматы, примеры, рекомендации
- [Обучение на своих данных](./train_on_custom_data_ru.md)
- Подробная инструкция по обучению токенизатора и модели
- [Внимание (Attention)](./head_attention_ru.md)
- Описание механизма, формулы
- [Мультиголовное внимание](./multi_head_attention_ru.md)
- Теория, схемы
- [Позиционные эмбеддинги](./positional_embeddings_ru.md)
- Теория, примеры
- [Токен-эмбеддинги](./token_embeddings_ru.md)
- Описание, схемы, примеры
- [Feed Forward слой](./feed_forward_ru.md)
- Теория, формулы
- [Декодер](./decoder_ru.md)
- Архитектура, схема
---
## Как пользоваться документацией
- Для быстрого старта изучите [README.md](../README.md)
- Для понимания архитектуры — [GPT](./gpt_documentation_ru.md) и [BPE](./bpe_algorithm.md)
- Для деталей по каждому модулю — соответствующий файл из списка выше
- Для практики — смотрите примеры в папке `example/`
- Для тестирования — используйте тесты из папки `tests/`
---
**Если вы нашли ошибку или хотите предложить улучшение — создайте issue или pull request на GitHub!**