Update README.md
Browse files
README.md
CHANGED
|
@@ -11,7 +11,7 @@ base_model:
|
|
| 11 |
|
| 12 |
# fineweb-2-edu-japanese-classifier
|
| 13 |
|
| 14 |
-
### fineweb-2
|
| 15 |
|
| 16 |
[fineweb-2](https://huggingface.co/datasets/HuggingFaceFW/fineweb-2) の日本語データセットを活用し、教育に役立つ文章か / それ以外を判定するための判定機です。以下の特徴があります。
|
| 17 |
|
|
@@ -22,6 +22,8 @@ base_model:
|
|
| 22 |
* **CPU版:** 大量のテキストデータに対する高速な分類、教育関連情報の網羅的な抽出を重視する場合
|
| 23 |
* **GPU版:** より高い精度での判定、重要な判断が求められる場面
|
| 24 |
|
|
|
|
|
|
|
| 25 |
---
|
| 26 |
|
| 27 |
## モデルの利用方法
|
|
|
|
| 11 |
|
| 12 |
# fineweb-2-edu-japanese-classifier
|
| 13 |
|
| 14 |
+
### fineweb-2 日本語データを用いた教育向け文章判の判定機
|
| 15 |
|
| 16 |
[fineweb-2](https://huggingface.co/datasets/HuggingFaceFW/fineweb-2) の日本語データセットを活用し、教育に役立つ文章か / それ以外を判定するための判定機です。以下の特徴があります。
|
| 17 |
|
|
|
|
| 22 |
* **CPU版:** 大量のテキストデータに対する高速な分類、教育関連情報の網羅的な抽出を重視する場合
|
| 23 |
* **GPU版:** より高い精度での判定、重要な判断が求められる場面
|
| 24 |
|
| 25 |
+
また [fineweb-2-edu-japanese](https://huggingface.co/datasets/hotchpotch/fineweb-2-edu-japanese) データセットのフィルタリングでは、この判定機(GPU版)を利用しています。
|
| 26 |
+
|
| 27 |
---
|
| 28 |
|
| 29 |
## モデルの利用方法
|