Sergey Penkovsky 6efc946027 docs(core): expand docstrings and add unit tests for RMSNorm ...

- docs: update/increase docstring detail for RMSNorm class and methods (motivation, formula, architecture, usage, references to LLaMA/PaLM/GPT)
- test: add comprehensive unit tests for RMSNorm (shape/type preservation, rms scaling, gradients for input and weights, fp16, large eps stability)

No code/API changes beyond docs and new tests.

2025-10-16 14:37:25 +03:00

..

test_cached_decoder.py

docs(core): add docstrings and unit tests for CachedDecoder module

2025-10-16 12:30:53 +03:00

test_decoder.py

Рефакторинг: единообразие оформления кода (пробелы, кавычки, пустые строки), без изменения логики по всему проекту.

2025-10-06 22:57:19 +03:00

test_feed_forward.py

Рефакторинг: единообразие оформления кода (пробелы, кавычки, пустые строки), без изменения логики по всему проекту.

2025-10-06 22:57:19 +03:00

test_gelu.py

docs(core): improve docstrings and add unit tests for GELU activation

2025-10-16 13:59:38 +03:00

test_group_query_attention.py

docs(core): add comprehensive docstrings and unit tests for GroupedQueryAttention (GQA)

2025-10-15 17:27:55 +03:00

test_mistral_decoder.py

docs(core): add docstrings and unit tests for MistralDecoder

2025-10-15 18:07:11 +03:00

test_multi_head_attention.py

refactor(core): refactor RoPE and MultiHeadAttention, add math-rich docs, expand tests, remove unused head_attention

2025-10-15 11:04:07 +03:00

test_positional_embeddings.py

Рефакторинг: единообразие оформления кода (пробелы, кавычки, пустые строки), без изменения логики по всему проекту.

2025-10-06 22:57:19 +03:00

test_rms_norm.py

docs(core): expand docstrings and add unit tests for RMSNorm

2025-10-16 14:37:25 +03:00

test_rope.py

refactor(core): refactor RoPE and MultiHeadAttention, add math-rich docs, expand tests, remove unused head_attention

2025-10-15 11:04:07 +03:00

test_token_embeddings.py

Рефакторинг: единообразие оформления кода (пробелы, кавычки, пустые строки), без изменения логики по всему проекту.

2025-10-06 22:57:19 +03:00