Sergey Penkovsky e5706a690d fix(rope, attention): корректное позиционирование RoPE при генерации с кэшем ...

- Исправлена ошибка расчёта позиции для RoPE (Rotary Positional Embeddings) при автодополнении с использованием кэша.
- В HeadAttention теперь передаётся start_pos в RoPE, вычисляемый из длины кэша.
- Обновлена сигнатура и логика метода RoPE.forward.
- Обновлен ноутбук llama.ipynb под новые интерфейсы и выводы.

BREAKING CHANGE: переопределён метод forward у RoPE, требуется обновить код, если RoPE использовался вручную.

2025-10-14 12:03:20 +03:00

..

bpe.ipynb

chore: add ipykernel dependency and update notebooks

2025-10-05 11:59:24 +03:00

gpt2.ipynb

docs: add GPT-2 analysis notebook

2025-10-05 12:48:32 +03:00

gpt.ipynb

fix: rename notebook

2025-10-05 12:46:17 +03:00

llama.ipynb

fix(rope, attention): корректное позиционирование RoPE при генерации с кэшем

2025-10-14 12:03:20 +03:00