penkovsky_sa/simple-llm
1
0
Fork 0
mirror of https://github.com/pese-git/simple-llm.git synced 2026-01-23 21:14:17 +00:00
Code Issues Packages Projects Releases Wiki Activity

Обновление README: добавлена информация о модулях эмбеддингов

Browse Source 
- Описание TokenEmbeddings и PositionalEmbeddings
- Пример использования векторных представлений
- Ссылки на документацию
This commit is contained in:
Sergey Penkovsky
2025-07-18 00:31:08 +03:00
parent 32bca15069
commit 9765140f67
1 changed files with 19 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files

19
README.md
View File

@@ -57,6 +57,25 @@ print(f"Неизвестное слово: {unknown}")
Неизвестное слово: [-1, -1, 3, -1, -1, -1, -1, -1, -1, 7, -1, -1, -1, 5, 7, -1, 7]
```
### Работа с эмбеддингами
```python
from simple_llm.embedding import TokenEmbeddings, PositionalEmbeddings
# Инициализация
token_emb = TokenEmbeddings(vocab_size=1000, emb_size=256)
pos_emb = PositionalEmbeddings(max_seq_len=512, emb_size=256)
# Пример использования
tokens = [1, 2, 3] # Индексы токенов
embeddings = token_emb(tokens) + pos_emb(len(tokens))
print(f"Объединенные эмбеддинги: {embeddings.shape}")
```
## Документация
- [Токенизация BPE](/doc/bpe_algorithm.md)
- [Токенные эмбеддинги](/doc/token_embeddings_ru.md)
- [Позиционные эмбеддинги](/doc/positional_embeddings_ru.md)
## Интеграция в проект
Добавьте в ваш `requirements.txt`: