LoRAMoE for llm-jp-3-13b-instruct3
本リポジトリは，llm-jp-3-13b-instruct3 をベースに，LoRAMoE[https://github.com/Ablustrund/LoRAMoE] の手法を実装・適用したものです．
LoRAMoE は，複数の低ランクアダプター（LoRA）と Mixture-of-Experts (MoE) スタイルのルーター機構を組み合わせることで，下流タスクの性能向上と，事前学習で獲得した世界知識の保持の両立を実現することを目的としています．
執筆中 普通の方法では読み込めません．
- Downloads last month
- 1
Inference Providers
NEW
This model isn't deployed by any Inference Provider.
🙋
Ask for provider support
Model tree for doshisha-mil/llm-jp-3-13b-LoRAMoE4MATH_v1
Base model
llm-jp/llm-jp-3-13b-instruct3