71 lines
4.1 KiB
C++
71 lines
4.1 KiB
C++
#ifndef XENITH_HELP_H
|
||
#define XENITH_HELP_H
|
||
|
||
inline const std::string HELP_TEXT = R"(ИСПОЛЬЗОВАНИЕ
|
||
xenith <команда> [опции]
|
||
|
||
КОМАНДЫ
|
||
new создать новую модель из корпуса
|
||
train обучить существующую модель
|
||
gen сгенерировать текст
|
||
info показать конфигурацию модели
|
||
gradcheck проверить градиенты численно
|
||
bench замерить скорость форварда и шага обучения
|
||
ollama запустьтить сервер с api ollama
|
||
update Автомотическое обновление с гита
|
||
|
||
ПРИМЕРЫ
|
||
xenith new model.xnh --corpus data.txt --vocab 512 --embd 64 --layers 4 --heads 4
|
||
xenith train model.xnh --corpus data.txt --out model_trained.xnh --steps 3000
|
||
xenith train model_trained.xnh --corpus data.txt --out model_trained.xnh --steps 6000
|
||
xenith gen model_trained.xnh --prompt "Привет" --n 200 --temp 0.8
|
||
|
||
ОПЦИИ new
|
||
--corpus PATH текст для построения словаря (обязательно)
|
||
--out PATH файл модели (по умолчанию model.xnh)
|
||
--vocab N размер словаря (по умолчанию 512)
|
||
--embd N размер эмбеддинга (по умолчанию 128)
|
||
--layers N число слоёв (по умолчанию 4)
|
||
--heads N число голов (по умолчанию 4)
|
||
--ctx N максимальный контекст (по умолчанию 128)
|
||
--ffn N размер FFN (по умолчанию 4*embd)
|
||
--rope N база RoPE (по умолчанию 10000)
|
||
--seed N зерно инициализации (по умолчанию 1337)
|
||
--untied отдельная матрица выхода вместо привязанной к wte
|
||
--view-vocab выводит словарь нейросети
|
||
|
||
ОПЦИИ train
|
||
--corpus PATH обучающий текст (обязательно)
|
||
--out PATH куда сохранить (по умолчанию перезапись входного файла)
|
||
--steps N шагов (по умолчанию 1000)
|
||
--batch N батч (по умолчанию 8)
|
||
--block N длина окна (по умолчанию 64)
|
||
--lr F скорость (по умолчанию 3e-4)
|
||
--wd F weight decay (по умолчанию 0.01)
|
||
--clip F клип нормы градиента (по умолчанию 1.0)
|
||
--warmup N прогрев (по умолчанию 100)
|
||
--seed N зерно (по умолчанию 1337)
|
||
--log-every N как часто печатать (по умолчанию 50)
|
||
--ckpt-every N промежуточное сохранение каждые N шагов (0 = нет)
|
||
--val-every N валидация каждые N шагов (0 = нет)
|
||
--val-tokens N размер валидации (по умолчанию 20000)
|
||
--threads N потоков (0 = все ядра)
|
||
--resume продолжить с сохранённого step (Adam-state из файла)
|
||
|
||
ОПЦИИ gen
|
||
--prompt STR стартовый текст
|
||
--n N сколько токенов (по умолчанию 200)
|
||
--temp F температура, 0 = жадный выбор (по умолчанию 0.8)
|
||
--top-k N top-k (0 = выкл)
|
||
--top-p F top-p (1.0 = выкл)
|
||
--seed N зерно
|
||
--no-stream не печатать в процессе
|
||
--batch "a;b;c" несколько промптов через ;
|
||
--show-tokens показать id токенов
|
||
|
||
ОПЦИИ ollama
|
||
--port PORT порт на котором будет открыт сервер
|
||
--conf NAME.conf конфиг с настройками и списком моделей
|
||
)";
|
||
|
||
#endif |