mirror of
https://github.com/pese-git/llm-arch-research.git
synced 2026-01-24 05:21:16 +00:00
ec07546ea8
- Add LLM library with GPT model implementation - Add hf-proxy for HuggingFace integration - Add experiments for training and generation - Add comprehensive documentation and examples - Configure uv workspace with proper dependencies
45 lines
1.6 KiB
Python
45 lines
1.6 KiB
Python
"""
|
||
HF-Proxy: Адаптер для интеграции моделей llm с HuggingFace Transformers.
|
||
|
||
Этот пакет предоставляет инструменты для:
|
||
- Конвертации кастомных LLM моделей в формат HuggingFace
|
||
- Использования моделей через стандартные интерфейсы Transformers
|
||
- Загрузки моделей в HuggingFace Hub
|
||
- Создания pipelines для генерации текста
|
||
|
||
Основные классы:
|
||
- HFAdapter: Главный адаптер для преобразования моделей
|
||
- HFGPTAdapter: Адаптер для GPT моделей
|
||
- HFUtils: Утилиты для работы с адаптером
|
||
- HFTokenizerAdapter: Адаптер для кастомных токенизаторов
|
||
"""
|
||
|
||
from .hf_adapter import HFAdapter, HFGPTAdapter
|
||
from .hf_config import HFAdapterConfig, HFPretrainedConfig
|
||
from .hf_utils import HFUtils, TokenizerWrapper, create_hf_pipeline
|
||
from .hf_tokenizer import HFTokenizerAdapter, create_hf_tokenizer, convert_to_hf_format
|
||
|
||
__version__ = "0.2.0"
|
||
__author__ = "Sergey Penkovsky"
|
||
__email__ = "sergey.penkovsky@gmail.com"
|
||
|
||
__all__ = [
|
||
# Основные классы адаптера
|
||
"HFAdapter",
|
||
"HFGPTAdapter",
|
||
|
||
# Конфигурации
|
||
"HFAdapterConfig",
|
||
"HFPretrainedConfig",
|
||
|
||
# Адаптеры токенизаторов
|
||
"HFTokenizerAdapter",
|
||
"create_hf_tokenizer",
|
||
"convert_to_hf_format",
|
||
|
||
# Утилиты
|
||
"HFUtils",
|
||
"TokenizerWrapper",
|
||
"create_hf_pipeline",
|
||
]
|