mirror of
https://github.com/pese-git/llm-arch-research.git
synced 2026-01-23 21:10:54 +00:00
docs: update and enhance documentation for all core components and models
- Added detailed documentation for GPT, GPT2 and LLaMA models - Enhanced docstrings in base_model.py, rope.py, rms_norm.py, swi_glu.py - Updated README with architectural differences and usage examples - Added scientific references and mathematical foundations - Improved type hints and parameter descriptions
This commit is contained in:
20
README.md
20
README.md
@@ -24,16 +24,26 @@ llm-arch-research/
|
||||
│ └── src/llm/
|
||||
│ ├── core/ # базовые компоненты
|
||||
│ │ ├── base_model.py
|
||||
│ │ ├── cached_decoder.py # Декодер с кэшированием
|
||||
│ │ ├── decoder.py
|
||||
│ │ ├── multi_head_attention.py
|
||||
│ │ ├── head_attention.py
|
||||
│ │ ├── feed_forward.py
|
||||
│ │ ├── token_embeddings.py
|
||||
│ │ └── positional_embeddings.py
|
||||
│ ├── models/gpt/ # GPT и GPT-2 реализация
|
||||
│ │ ├── gpt.py
|
||||
│ │ ├── gpt2.py
|
||||
│ │ └── __init__.py
|
||||
│ │ ├── positional_embeddings.py
|
||||
│ │ ├── rope.py # Rotary Positional Embeddings
|
||||
│ │ ├── rms_norm.py # RMS Normalization
|
||||
│ │ ├── swi_glu.py # SwiGLU активация
|
||||
│ │ ├── silu.py # SiLU активация
|
||||
│ │ └── gelu.py # GELU активация
|
||||
│ ├── models/ # Реализации моделей
|
||||
│ │ ├── gpt/ # GPT и GPT-2 архитектуры
|
||||
│ │ │ ├── gpt.py
|
||||
│ │ │ ├── gpt2.py
|
||||
│ │ │ └── __init__.py
|
||||
│ │ └── llama/ # LLaMA архитектура
|
||||
│ │ ├── llama.py
|
||||
│ │ └── __init__.py
|
||||
│ ├── training/ # утилиты обучения
|
||||
│ │ ├── dataset.py
|
||||
│ │ ├── trainer.py
|
||||
|
||||
Reference in New Issue
Block a user