---
library_name: transformers
tags:
- axolotl
- generated_from_trainer
datasets:
- Aratako/Magpie-Tanuki-Qwen2.5-72B-Answered
- Aratako/Open-Platypus-Japanese-masked-formatted
- llm-jp/wizardlm8x22b-logical-math-coding-sft-ja
- kanhatakeyama/ramdom-to-fixed-multiturn-Calm3
- llm-jp/Synthetic-JP-EN-Coding-Dataset
- llm-jp/magpie-sft-v1.0
model-index:
- name: plamo-2-1b-gorilla-chat5
results: []
---
[
](https://github.com/axolotl-ai-cloud/axolotl)
See axolotl config
axolotl version: `0.7.0`
```yaml
# モデルの設定
base_model: /notebooks/plamo-2-1b-gorilla-chat2 # HuggingFace上のモデル名
model_type: AutoModelForCausalLM # モデルのロードに使用するクラス
tokenizer_type: AutoTokenizer # トークナイザのロードに使用するクラス
trust_remote_code: true # リモートのカスタムコードを信頼してモデルをロード
hub_model_id: zamagi/fft-1
hub_strategy: "end"
push_dataset_to_hub:
hf_use_auth_token: true
plugins:
- axolotl.integrations.liger.LigerPlugin
liger_cross_entropy: false
liger_rope: true
liger_rms_norm: true
liger_swiglu: true
liger_fused_linear_cross_entropy: true
# 8bit/4bit設定（8bitモードでメモリ削減）
load_in_8bit: false #f # 8bit量子化されたモデルをロード
load_in_4bit: false # 4bit量子化は使用しない
strict: false # 重みの厳密な一致を要求しない（追加トークン等がある場合に許容）
chat_template: tokenizer_default
# データセットの設定
datasets:
- path: Aratako/Magpie-Tanuki-Qwen2.5-72B-Answered
type: chat_template
field_messages: messages
message_property_mappings: # メッセージ内のプロパティ名のマッピング
role: role # 役割（ユーザー/システム/アシスタント）を示すフィールド
content: content # メッセージ内容を示すフィールド
roles_to_train: ["assistant"] # 学習対象とする役割（アシスタントの発話のみ学習）
train_on_eos: last
# - path: Aratako/magpie-qwen2.5-32b-reasoning-100k-formatted
# type: chat_template
# field_messages: conversations
# message_field_role: role
# message_field_content: content
# roles_to_train: ["assistant"] # 学習対象とする役割（アシスタントの発話のみ学習）
# train_on_eos: last
# - path: Aratako/magpie-reasoning-llama-nemotron-70b-100k-filtered
# type: chat_template
# field_messages: conversations
# message_field_role: role
# message_field_content: content
- path: Aratako/Open-Platypus-Japanese-masked-formatted
type: chat_template
field_messages: conversations
message_property_mappings: # メッセージ内のプロパティ名のマッピング
role: role # 役割（ユーザー/システム/アシスタント）を示すフィールド
content: content # メッセージ内容を示すフィールド
roles_to_train: ["assistant"] # 学習対象とする役割（アシスタントの発話のみ学習）
train_on_eos: last
- path: llm-jp/wizardlm8x22b-logical-math-coding-sft-ja
type: chat_template
field_messages: messages
message_property_mappings: # メッセージ内のプロパティ名のマッピング
role: role # 役割（ユーザー/システム/アシスタント）を示すフィールド
content: content # メッセージ内容を示すフィールド
roles_to_train: ["assistant"] # 学習対象とする役割（アシスタントの発話のみ学習）
train_on_eos: last
- path: kanhatakeyama/ramdom-to-fixed-multiturn-Calm3
split: 20240806filtered
type: chat_template
field_messages: messages
message_property_mappings: # メッセージ内のプロパティ名のマッピング
role: role # 役割（ユーザー/システム/アシスタント）を示すフィールド
content: content # メッセージ内容を示すフィールド
roles_to_train: ["assistant"] # 学習対象とする役割（アシスタントの発話のみ学習）
train_on_eos: last
# - path: Aratako/magpie-ultra-v0.1-formatted
# type: chat_template
# field_messages: conversations
# message_field_role: role
# message_field_content: content
# - path: Aratako/orca-agentinstruct-1M-v1-selected
# type: chat_template
# field_messages: messages
# message_field_role: role
# message_field_content: content
- path: llm-jp/Synthetic-JP-EN-Coding-Dataset
type: chat_template
field_messages: messages
message_property_mappings: # メッセージ内のプロパティ名のマッピング
role: role # 役割（ユーザー/システム/アシスタント）を示すフィールド
content: content # メッセージ内容を示すフィールド
roles_to_train: ["assistant"] # 学習対象とする役割（アシスタントの発話のみ学習）
train_on_eos: last
- path: llm-jp/magpie-sft-v1.0 # 使用するデータセット（Hugging Face上のデータセット名）
type: chat_template # 会話形式のデータセットを使用
field_messages: conversations # 会話データが格納されたフィールド名
message_property_mappings: # メッセージ内のプロパティ名のマッピング
role: role # 役割（ユーザー/システム/アシスタント）を示すフィールド
content: content # メッセージ内容を示すフィールド
roles_to_train: ["assistant"] # 学習対象とする役割（アシスタントの発話のみ学習）
train_on_eos: last
shuffle_merged_datasets: true
dataset_prepared_path: /notebooks/data/fft-data
val_set_size: 0.002
output_dir: /notebooks/data/27b-fft-out-1
dataset_keep_in_memory: false
gpu_memory_limit: 48GiB
sequence_len: 2048
sample_packing: true
eval_sample_packing: false
pad_to_sequence_len: true
adapter:
lora_model_dir:
lora_r:
lora_alpha:
lora_dropout:
lora_target_linear:
lora_fan_in_fan_out:
# トレーニングの設定
gradient_accumulation_steps: 4
micro_batch_size: 8
num_epochs: 2
optimizer: paged_adamw_8bit
lr_scheduler:
cosine_min_lr_ratio: 0.1
learning_rate: 0.00001
max_steps: 10000
train_on_inputs: false
group_by_length: false
bf16: auto
fp16:
tf32: false
#wandb: false
#wandb_project: 27b-fft
#wandb_entity: aratako-lm
#wandb_watch:
#wandb_name: attempt-01
#wandb_log_model:
gradient_checkpointing: true
early_stopping_patience:
auto_resume_from_checkpoints: true
local_rank:
logging_steps: 1
xformers_attention:
flash_attention:
save_strategy: steps
save_steps: 100
save_total_limit: 2
warmup_steps: 50
eval_steps: 100
eval_batch_size: 1
eval_table_size:
eval_max_new_tokens:
debug:
deepspeed: /notebooks/axolotl/deepspeed_configs/zero3_bf16.json
weight_decay: 0.01
fsdp:
fsdp_config:
# 出力の保存設定
output_dir: /notebooks/output/plamo-2-1b-gorilla-chat5 # チェックポイントや最終モデルの出力先ディレクトリ
hub_model_id: zamagi/plamo-2-1b-gorilla-chat5 # (オプション) Hugging Face Hubにアップロードする場合のリポジトリ名
```
# plamo-2-1b-gorilla-chat5
This model was trained from scratch on the Aratako/Magpie-Tanuki-Qwen2.5-72B-Answered, the Aratako/Open-Platypus-Japanese-masked-formatted, the llm-jp/wizardlm8x22b-logical-math-coding-sft-ja, the kanhatakeyama/ramdom-to-fixed-multiturn-Calm3, the llm-jp/Synthetic-JP-EN-Coding-Dataset and the llm-jp/magpie-sft-v1.0 datasets.
It achieves the following results on the evaluation set:
- Loss: 1.2854
## Model description
More information needed
## Intended uses & limitations
More information needed
## Training and evaluation data
More information needed
## Training procedure
### Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 1e-05
- train_batch_size: 8
- eval_batch_size: 1
- seed: 42
- distributed_type: multi-GPU
- gradient_accumulation_steps: 4
- total_train_batch_size: 32
- optimizer: Use OptimizerNames.PAGED_ADAMW_8BIT with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
- lr_scheduler_type: cosine
- lr_scheduler_warmup_steps: 50
- training_steps: 10000
### Training results
| Training Loss | Epoch | Step | Validation Loss |
|:-------------:|:------:|:-----:|:---------------:|
| 1.4277 | 0.0002 | 1 | 1.5568 |
| 1.3262 | 0.0196 | 100 | 1.4437 |
| 1.2695 | 0.0391 | 200 | 1.4289 |
| 1.4199 | 0.0587 | 300 | 1.4149 |
| 1.2383 | 0.0783 | 400 | 1.4073 |
| 1.418 | 0.0979 | 500 | 1.3987 |
| 1.2148 | 0.1174 | 600 | 1.3954 |
| 1.3301 | 0.1370 | 700 | 1.3906 |
| 1.3418 | 0.1566 | 800 | 1.3850 |
| 1.248 | 0.1762 | 900 | 1.3801 |
| 1.3027 | 0.1957 | 1000 | 1.3762 |
| 1.3965 | 0.2153 | 1100 | 1.3768 |
| 1.2422 | 0.2349 | 1200 | 1.3747 |
| 1.2969 | 0.2544 | 1300 | 1.3682 |
| 1.248 | 0.2740 | 1400 | 1.3629 |
| 1.3203 | 0.2936 | 1500 | 1.3582 |
| 1.2637 | 0.3132 | 1600 | 1.3576 |
| 1.3398 | 0.3327 | 1700 | 1.3559 |
| 1.1934 | 0.3523 | 1800 | 1.3508 |
| 1.1992 | 0.3719 | 1900 | 1.3525 |
| 1.1816 | 0.3914 | 2000 | 1.3475 |
| 1.1562 | 0.4110 | 2100 | 1.3441 |
| 1.373 | 0.4306 | 2200 | 1.3374 |
| 1.2188 | 0.4502 | 2300 | 1.3383 |
| 1.1738 | 0.4697 | 2400 | 1.3376 |
| 1.2344 | 0.4893 | 2500 | 1.3318 |
| 1.291 | 0.5089 | 2600 | 1.3289 |
| 1.2148 | 0.5285 | 2700 | 1.3254 |
| 1.248 | 0.5480 | 2800 | 1.3245 |
| 1.2988 | 0.5676 | 2900 | 1.3260 |
| 1.3359 | 0.5872 | 3000 | 1.3255 |
| 1.2109 | 0.6067 | 3100 | 1.3222 |
| 1.2656 | 0.6263 | 3200 | 1.3191 |
| 1.2109 | 0.6459 | 3300 | 1.3160 |
| 1.2676 | 0.6655 | 3400 | 1.3136 |
| 1.1426 | 0.6850 | 3500 | 1.3137 |
| 1.2422 | 0.7046 | 3600 | 1.3262 |
| 1.2188 | 0.7242 | 3700 | 1.3283 |
| 1.2891 | 0.7437 | 3800 | 1.3277 |
| 1.1758 | 0.7633 | 3900 | 1.3232 |
| 1.1846 | 0.7829 | 4000 | 1.3268 |
| 1.3418 | 0.8025 | 4100 | 1.3235 |
| 1.2812 | 0.8220 | 4200 | 1.3214 |
| 1.2793 | 0.8416 | 4300 | 1.3202 |
| 1.1758 | 0.8612 | 4400 | 1.3196 |
| 1.2188 | 0.8808 | 4500 | 1.3198 |
| 1.1719 | 0.9003 | 4600 | 1.3177 |
| 1.1738 | 0.9199 | 4700 | 1.3129 |
| 1.3555 | 0.9395 | 4800 | 1.3154 |
| 1.2207 | 0.9590 | 4900 | 1.3152 |
| 1.1445 | 0.9786 | 5000 | 1.3110 |
| 1.2891 | 0.9982 | 5100 | 1.3094 |
| 1.0527 | 1.0178 | 5200 | 1.3123 |
| 1.0527 | 1.0374 | 5300 | 1.3120 |
| 1.1777 | 1.0570 | 5400 | 1.3124 |
| 1.0879 | 1.0765 | 5500 | 1.3128 |
| 1.1836 | 1.0961 | 5600 | 1.3114 |
| 1.1406 | 1.1157 | 5700 | 1.3117 |
| 1.1152 | 1.1352 | 5800 | 1.3092 |
| 1.1387 | 1.1548 | 5900 | 1.3106 |
| 1.2715 | 1.1744 | 6000 | 1.3063 |
| 1.1855 | 1.1940 | 6100 | 1.3070 |
| 1.1895 | 1.2135 | 6200 | 1.3070 |
| 1.1309 | 1.2331 | 6300 | 1.3063 |
| 1.0918 | 1.2527 | 6400 | 1.3043 |
| 1.0977 | 1.2723 | 6500 | 1.3050 |
| 1.0332 | 1.2918 | 6600 | 1.3028 |
| 0.9697 | 1.3114 | 6700 | 1.3012 |
| 1.1504 | 1.3310 | 6800 | 1.3006 |
| 1.1152 | 1.3505 | 6900 | 1.3013 |
| 1.0127 | 1.3701 | 7000 | 1.2998 |
| 1.1387 | 1.3897 | 7100 | 1.2993 |
| 1.0664 | 1.4093 | 7200 | 1.2970 |
| 1.1299 | 1.4288 | 7300 | 1.2971 |
| 1.1406 | 1.4484 | 7400 | 1.2971 |
| 1.0684 | 1.4680 | 7500 | 1.2969 |
| 1.0938 | 1.4875 | 7600 | 1.2966 |
| 1.1221 | 1.5071 | 7700 | 1.2943 |
| 1.0771 | 1.5267 | 7800 | 1.2937 |
| 1.1211 | 1.5463 | 7900 | 1.2938 |
| 1.043 | 1.5658 | 8000 | 1.2941 |
| 1.0537 | 1.5854 | 8100 | 1.2924 |
| 1.0859 | 1.6050 | 8200 | 1.2918 |
| 1.1836 | 1.6246 | 8300 | 1.2911 |
| 1.2188 | 1.6441 | 8400 | 1.2906 |
| 1.0596 | 1.6637 | 8500 | 1.2912 |
| 1.041 | 1.6833 | 8600 | 1.2904 |
| 1.1367 | 1.7028 | 8700 | 1.2904 |
| 1.1006 | 1.7224 | 8800 | 1.2891 |
| 1.0996 | 1.7420 | 8900 | 1.2898 |
| 1.1387 | 1.7616 | 9000 | 1.2883 |
| 1.1543 | 1.7811 | 9100 | 1.2888 |
| 1.1328 | 1.8007 | 9200 | 1.2876 |
| 1.0801 | 1.8203 | 9300 | 1.2872 |
| 1.1855 | 1.8398 | 9400 | 1.2880 |
| 1.1113 | 1.8594 | 9500 | 1.2860 |
| 1.1289 | 1.8790 | 9600 | 1.2865 |
| 1.1543 | 1.8986 | 9700 | 1.2857 |
| 1.123 | 1.9181 | 9800 | 1.2856 |
| 1.0352 | 1.9377 | 9900 | 1.2857 |
| 0.9189 | 1.9573 | 10000 | 1.2854 |
### Framework versions
- Transformers 4.49.0
- Pytorch 2.5.1+cu124
- Datasets 3.2.0
- Tokenizers 0.21.1