penkovsky_sa/simple-llm
1
0
Fork 0
mirror of https://github.com/pese-git/simple-llm.git synced 2026-01-23 21:14:17 +00:00
Code Issues Packages Projects Releases Wiki Activity

Добавление механизма внимания HeadAttention

Browse Source 
- Реализация одного головного внимания из Transformer
- Полная документация на русском языке
- Пример использования с визуализацией
- Обновление README с ссылками
This commit is contained in:
Sergey Penkovsky
2025-07-19 11:35:11 +03:00
parent 9765140f67
commit a150828665
4 changed files with 265 additions and 2 deletions
Download Patch File Download Diff File Expand all files Collapse all files

12
README.md
View File

@@ -88,9 +88,17 @@ git+https://github.com/yourusername/simple-llm.git
pip install git+https://github.com/yourusername/simple-llm.git
```
## Примеры
## Примеры использования
Дополнительные примеры использования смотрите в папке [example](/example):
Дополнительные примеры:
- [Базовый BPE](/example/example_bpe.py)
- [Токенные эмбеддинги](/example/example_token_embeddings.py)
- [Механизм внимания](/example/head_attention_example.py)
Документация:
- [Токенизация](/doc/bpe_algorithm.md)
- [Эмбеддинги](/doc/token_embeddings_ru.md)
- [Внимание](/doc/head_attention_ru.md)
- Сравнение SimpleBPE и OptimizeBPE
- Работа с разными языками
- Настройка параметров токенизации