README.md

---
license: afl-3.0
---

# 🍊 제주 방언 번역 모델 🍊
  -  제주어 -> 표준어
  -  Made by. 구름 자연어처리 과정 3기 3조!!
  - github link : https://github.com/Goormnlpteam3/JeBERT
  
## 1. Seq2Seq Transformer Model
  -  encoder :  BertConfig
  -  decoder :  BertConfig
  -  Tokenizer :  WordPiece Tokenizer
 
## 2. Dataset
  -  Jit Dataset
  -  AI HUB(+아래아 문자)

## 3. Hyper Parameters
  -  Epoch :  10 epochs(best at 8 epoch)
  -  Random Seed :  42
  -  Learning Rate :  5e-5
  -  Warm up Ratio :  0.1
  -  Batch Size :  32

## 4. BLEU Score
  -  Jit + AI HUB(+아래아 문자) Dataset :  79.0
---
### CREDIT
  - 주형준 : [email protected]
  - 강가람 : [email protected]
  - 고광연 : [email protected]
  - 김수연 : [email protected]
  - 이원경 : [email protected]
  - 조성은 : [email protected]