mirror of
https://github.com/pese-git/llm-arch-research.git
synced 2026-01-24 05:21:16 +00:00
feat: initial project setup with LLM architecture and HF integration
- Add LLM library with GPT model implementation - Add hf-proxy for HuggingFace integration - Add experiments for training and generation - Add comprehensive documentation and examples - Configure uv workspace with proper dependencies
This commit is contained in:
44
hf-proxy/src/hf_proxy/__init__.py
Normal file
44
hf-proxy/src/hf_proxy/__init__.py
Normal file
@@ -0,0 +1,44 @@
|
||||
"""
|
||||
HF-Proxy: Адаптер для интеграции моделей llm с HuggingFace Transformers.
|
||||
|
||||
Этот пакет предоставляет инструменты для:
|
||||
- Конвертации кастомных LLM моделей в формат HuggingFace
|
||||
- Использования моделей через стандартные интерфейсы Transformers
|
||||
- Загрузки моделей в HuggingFace Hub
|
||||
- Создания pipelines для генерации текста
|
||||
|
||||
Основные классы:
|
||||
- HFAdapter: Главный адаптер для преобразования моделей
|
||||
- HFGPTAdapter: Адаптер для GPT моделей
|
||||
- HFUtils: Утилиты для работы с адаптером
|
||||
- HFTokenizerAdapter: Адаптер для кастомных токенизаторов
|
||||
"""
|
||||
|
||||
from .hf_adapter import HFAdapter, HFGPTAdapter
|
||||
from .hf_config import HFAdapterConfig, HFPretrainedConfig
|
||||
from .hf_utils import HFUtils, TokenizerWrapper, create_hf_pipeline
|
||||
from .hf_tokenizer import HFTokenizerAdapter, create_hf_tokenizer, convert_to_hf_format
|
||||
|
||||
__version__ = "0.2.0"
|
||||
__author__ = "Sergey Penkovsky"
|
||||
__email__ = "sergey.penkovsky@gmail.com"
|
||||
|
||||
__all__ = [
|
||||
# Основные классы адаптера
|
||||
"HFAdapter",
|
||||
"HFGPTAdapter",
|
||||
|
||||
# Конфигурации
|
||||
"HFAdapterConfig",
|
||||
"HFPretrainedConfig",
|
||||
|
||||
# Адаптеры токенизаторов
|
||||
"HFTokenizerAdapter",
|
||||
"create_hf_tokenizer",
|
||||
"convert_to_hf_format",
|
||||
|
||||
# Утилиты
|
||||
"HFUtils",
|
||||
"TokenizerWrapper",
|
||||
"create_hf_pipeline",
|
||||
]
|
||||
Reference in New Issue
Block a user