mirror of
https://github.com/pese-git/simple-llm.git
synced 2026-01-24 05:26:02 +00:00
Документация и примеры: унификация путей, стабильная работа на CPU, расширенный корпус для токенизатора, end-to-end пайплайн обучения и генерации. Исправлены все ошибки с устройствами и индексами, добавлены проверки и диагностика prompt.
This commit is contained in:
63
README.md
63
README.md
@@ -3,6 +3,45 @@
|
||||
[]()
|
||||
[]()
|
||||
|
||||
> **Актуально для Simple-LLM v1.0 (июль 2025)**
|
||||
|
||||
---
|
||||
|
||||
## 🚀 Установка
|
||||
|
||||
### Через pip (локально)
|
||||
```bash
|
||||
pip install .
|
||||
```
|
||||
|
||||
### Через pip (с PyPI)
|
||||
```bash
|
||||
pip install simple-llm
|
||||
```
|
||||
|
||||
После установки вы сможете запускать примеры и использовать модули из любого места.
|
||||
|
||||
**Краткая инструкция по обучению на своих данных:**
|
||||
1. Обучите BPE-токенизатор на тексте (см. `simple_llm.tokenizer.bpe.BPE`).
|
||||
2. Токенизируйте корпус и создайте датасет через `GetData`.
|
||||
3. Инициализируйте модель `GPT` с нужными параметрами.
|
||||
4. Обучите модель одной строкой: `model.fit(train_loader, num_epoch=10)`.
|
||||
5. Для подробной инструкции и примеров см. [документацию](doc/train_on_custom_data_ru.md).
|
||||
|
||||
---
|
||||
|
||||
**Структура README:**
|
||||
- Обзор
|
||||
- Быстрый старт
|
||||
- Основные компоненты
|
||||
- Документация
|
||||
- Тестирование
|
||||
- Как внести вклад
|
||||
- Лицензия
|
||||
- [FAQ](#faq)
|
||||
|
||||
---
|
||||
|
||||
Простая и понятная реализация языковой модели GPT-стиля с нуля на PyTorch
|
||||
|
||||
## 🔍 Обзор
|
||||
@@ -114,5 +153,29 @@ pytest tests/
|
||||
4. Запушьте ветку (`git push origin feature/AmazingFeature`)
|
||||
5. Откройте Pull Request
|
||||
|
||||
---
|
||||
|
||||
## ❓ FAQ
|
||||
|
||||
**Q: Как установить Simple-LLM, чтобы работали все импорты?**
|
||||
A: Рекомендуется установить через pip (локально: `pip install .` или с PyPI: `pip install simple-llm`). Тогда все примеры и импорты будут работать из любой директории.
|
||||
|
||||
**Q: Как запустить Simple-LLM на CPU?**
|
||||
A: Передайте параметр `device="cpu"` при инициализации модели или обработке данных.
|
||||
|
||||
**Q: Как использовать свой датасет?**
|
||||
A: Используйте класс `GetData` из `simple_llm.data.get_data` для подготовки своих последовательностей. Следуйте формату `(input_ids, targets)`.
|
||||
|
||||
**Q: Где посмотреть примеры?**
|
||||
A: В папке [`example/`](./example/) есть скрипты генерации и обучения.
|
||||
|
||||
**Q: Ошибка CUDA out of memory!**
|
||||
A: Уменьшите размер batch_size или размерность модели, либо используйте CPU.
|
||||
|
||||
**Q: Как добавить новый модуль или улучшение?**
|
||||
A: Ознакомьтесь с документацией, следуйте рекомендациям по вкладу и открывайте Pull Request.
|
||||
|
||||
---
|
||||
|
||||
## 📜 Лицензия
|
||||
Распространяется под лицензией MIT. См. [LICENSE](./LICENSE)
|
||||
|
||||
Reference in New Issue
Block a user