From 9765140f67f4dbc1750a0f1d6f65a8a4cb2d406f Mon Sep 17 00:00:00 2001 From: Sergey Penkovsky Date: Fri, 18 Jul 2025 00:31:08 +0300 Subject: [PATCH] =?UTF-8?q?=D0=9E=D0=B1=D0=BD=D0=BE=D0=B2=D0=BB=D0=B5?= =?UTF-8?q?=D0=BD=D0=B8=D0=B5=20README:=20=D0=B4=D0=BE=D0=B1=D0=B0=D0=B2?= =?UTF-8?q?=D0=BB=D0=B5=D0=BD=D0=B0=20=D0=B8=D0=BD=D1=84=D0=BE=D1=80=D0=BC?= =?UTF-8?q?=D0=B0=D1=86=D0=B8=D1=8F=20=D0=BE=20=D0=BC=D0=BE=D0=B4=D1=83?= =?UTF-8?q?=D0=BB=D1=8F=D1=85=20=D1=8D=D0=BC=D0=B1=D0=B5=D0=B4=D0=B4=D0=B8?= =?UTF-8?q?=D0=BD=D0=B3=D0=BE=D0=B2?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - Описание TokenEmbeddings и PositionalEmbeddings - Пример использования векторных представлений - Ссылки на документацию --- README.md | 19 +++++++++++++++++++ 1 file changed, 19 insertions(+) diff --git a/README.md b/README.md index 7929b8a..06424f2 100644 --- a/README.md +++ b/README.md @@ -57,6 +57,25 @@ print(f"Неизвестное слово: {unknown}") Неизвестное слово: [-1, -1, 3, -1, -1, -1, -1, -1, -1, 7, -1, -1, -1, 5, 7, -1, 7] ``` +### Работа с эмбеддингами +```python +from simple_llm.embedding import TokenEmbeddings, PositionalEmbeddings + +# Инициализация +token_emb = TokenEmbeddings(vocab_size=1000, emb_size=256) +pos_emb = PositionalEmbeddings(max_seq_len=512, emb_size=256) + +# Пример использования +tokens = [1, 2, 3] # Индексы токенов +embeddings = token_emb(tokens) + pos_emb(len(tokens)) +print(f"Объединенные эмбеддинги: {embeddings.shape}") +``` + +## Документация +- [Токенизация BPE](/doc/bpe_algorithm.md) +- [Токенные эмбеддинги](/doc/token_embeddings_ru.md) +- [Позиционные эмбеддинги](/doc/positional_embeddings_ru.md) + ## Интеграция в проект Добавьте в ваш `requirements.txt`: