mirror of
https://github.com/pese-git/llm-arch-research.git
synced 2026-01-23 13:00:54 +00:00
101 lines
4.2 KiB
Python
101 lines
4.2 KiB
Python
"""
|
||
Общие конфигурации для экспериментов.
|
||
"""
|
||
|
||
# === Данные для обучения ===
|
||
TRAIN_TEXTS = [
|
||
"Мир программирования прекрасен и удивителен.",
|
||
"GPT модели учатся предсказывать следующий токен в последовательности.",
|
||
"Трансформеры революционно изменили обработку естественного языка.",
|
||
"Обучение больших языковых моделей требует значительных вычислительных ресурсов и больших объемов данных.",
|
||
"Искусственный интеллект продолжает развиваться стремительными темпами.",
|
||
"Глубокое обучение позволяет решать сложные задачи компьютерного зрения.",
|
||
"Нейронные сети имитируют работу человеческого мозга.",
|
||
"Машинное обучение находит применение в различных областях науки и техники.",
|
||
"Python является одним из самых популярных языков программирования для анализа данных.",
|
||
"Обработка естественного языка позволяет компьютерам понимать человеческую речь.",
|
||
"Рекуррентные нейронные сети хорошо подходят для работы с последовательностями.",
|
||
"Сверточные нейронные сети эффективны для обработки изображений.",
|
||
"Обучение с подкреплением используется для создания игровых ИИ.",
|
||
"Генеративные состязательные сети могут создавать реалистичные изображения.",
|
||
"Автоэнкодеры используются для сжатия данных и обучения представлений.",
|
||
]
|
||
|
||
# === Конфигурации моделей ===
|
||
|
||
# Базовая конфигурация GPT
|
||
BASE_GPT_CONFIG = {
|
||
"vocab_size": None, # Будет установлен динамически
|
||
"embed_dim": 256,
|
||
"num_heads": 4,
|
||
"num_layers": 4,
|
||
"max_position_embeddings": 128,
|
||
"dropout": 0.1,
|
||
}
|
||
|
||
# Конфигурация для маленькой модели (быстрое тестирование)
|
||
SMALL_GPT_CONFIG = {
|
||
"vocab_size": None,
|
||
"embed_dim": 128,
|
||
"num_heads": 2,
|
||
"num_layers": 2,
|
||
"max_position_embeddings": 64,
|
||
"dropout": 0.1,
|
||
}
|
||
|
||
# Конфигурация для большой модели (качественное обучение)
|
||
LARGE_GPT_CONFIG = {
|
||
"vocab_size": None,
|
||
"embed_dim": 512,
|
||
"num_heads": 8,
|
||
"num_layers": 6,
|
||
"max_position_embeddings": 256,
|
||
"dropout": 0.1,
|
||
}
|
||
|
||
# === Конфигурации токенизатора ===
|
||
BPE_CONFIG = {
|
||
"vocab_size": 1000,
|
||
"special_tokens": ["<pad>", "<unk>", "<bos>", "<eos>"],
|
||
}
|
||
|
||
# === Конфигурации обучения ===
|
||
TRAINING_CONFIG = {
|
||
"learning_rate": 3e-4,
|
||
"batch_size": 2,
|
||
"num_epochs": 3,
|
||
"warmup_steps": 50,
|
||
"gradient_clip": 1.0,
|
||
}
|
||
|
||
# === Конфигурации генерации ===
|
||
GENERATION_CONFIG = {
|
||
"max_new_tokens": 50,
|
||
"temperature": 0.7,
|
||
"do_sample": True,
|
||
"top_k": None,
|
||
"top_p": None,
|
||
}
|
||
|
||
# === Пути для сохранения ===
|
||
PATHS = {
|
||
"bpe_tokenizer": "checkpoints/bpe_tokenizer.json",
|
||
"gpt_bpe_model": "checkpoints/gpt-bpe/model.pt",
|
||
"gpt_bpe_config": "checkpoints/gpt-bpe/config.json",
|
||
"hf_tokenizer": "checkpoints/hf-bpe-tokenizer",
|
||
"hf_model": "checkpoints/hf-trained",
|
||
"hf_proxy_model": "checkpoints/hf-trained-proxy",
|
||
}
|
||
|
||
# === Тестовые промпты ===
|
||
TEST_PROMPTS = [
|
||
"Искусственный",
|
||
"Нейронные",
|
||
"Машинное",
|
||
"Глубокое",
|
||
"Python",
|
||
"Трансформеры",
|
||
"Обучение",
|
||
"Программирование",
|
||
]
|