werty1248/EXAONE-Deep-7.8B-Ko-Thought-test

• LGAI-EXAONE/EXAONE-Deep-7.8B 에 werty1248/s1k-1.1-Ko-ReGenerated-Formatted를 학습
  • 4x H100, about 1 hour
  • gradient_accumulation_steps = 2 (total batch size = 8)
  • max_length = 16,384 (원래는 32,768)

HRM8K 한국어 수학 능력 벤치마크 중 일부

• thinking은 최대 8192토큰만 허용
• 최대 토큰을 소모해도 </thought> 나 </think>를 생성하지 못했을 경우, 강제로 해당 토큰을 생성한 후 답변 생성 요청
• temperature = 0.6 (EXAONE), 0.7(Qwen2.5)
• top_p = 0.95

Model	GSM8K	KSM	MATH	Reasoning Language
LGAI-EXAONE/EXAONE-Deep-7.8B	85.48	31.72	84.23	English
werty1248/EXAONE-Deep-7.8B-Ko-Thought	78.85	28.01	79.45	Korean
werty1248/EXAONE-3.5-7.8B-Stratos-Ko	83.02	15.97	67.49	English
werty1248/Qwen2.5-7B-s1.1-Ko-Native	76.27	15.48	66.45	Korean(Chinese/English)
LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct	81.58	14.71	63.50	(CoT in Korean)

특이사항

• EXAONE-Deep-7.8B은 GSM8K에서 성능 개선이 있었으나, 한국어 튜닝 과정에서 성능이 원본 모델보다 하락.
• LGAI-EXAONE/EXAONE-Deep-7.8B은 주어진 8192토큰이 부족해서 답변을 내지 못하는 경우가 많았음
  • KSM의 경우, EXAONE-Deep-7.8B이 일단 답변을 제출하는 데 성공한 질문 중 정답률은 75.61% (werty1248/EXAONE-Deep-7.8B-Ko-Thought는 52.36%)
• 구체적인 기록은 하지 않았지만, werty1248/EXAONE-3.5-7.8B-s1.1-Ko-Native의 점수는 LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct와 거의 동일했음
  • 기본 EXAONE 모델은 추론 학습에서 warm start가 안되는 것이 아닐까?
  • 반대로 EXAONE-Deep의 추론 능력을 한국어로 옮기는 과정은 훨씬 잘 학습함
• 한국어 학습 과정에서 "한 번 실수하면 뭐가 잘못되었는지 모른 채 같은 오류를 계속 반복 검증하려는 현상"이 다시 발생함.
  • 실패 예시

질문: Carla는 200GB 파일을 다운로드 중입니다. 보통 1분에 2GB를 다운로드할 수 있지만, 다운로드의 40%가 진행됐을 때 Windows가 \
업데이트 설치를 위해 재시작합니다. 이 과정은 20분이 걸립니다. 그러고 나서 Carla는 다운로드를 처음부터 다시 시작해야 합니다. 파일을 \
다운로드하는 데 총 얼마나 걸리나요?

답변: <thought>
...(생략)

그런데 다른 가능성은 없을까? 예를 들어, 재시작 후에 다운로드를 시작할 때, 이미 다운로드가 진행되고 있는 상태에서 재시작이 되면, \
그 부분을 다시 다운로드해야 하는 경우가 있을 수 있지 않을까? 그런데 문제에서는 "다운로드를 처음부터 다시 시작해야 한다"고 했으니까, \
재시작 후에는 처음부터 다시 다운로드를 시작하는 것 같아. 즉, 재시작 후에는 남은 데이터를 처음부터 다운로드하는 게 아니라, 이미 \
다운로드한 40%를 다시 다운로드하는 게 아니라, 그냥 다시 시작해서 남은 60%를 다운로드하는 거야. 아니면, 재시작 후에 다시 다운로드를 \
시작할 때, 이미 다운로드한 40%를 다시 다운로드해야 하는지?

이 부분이 헷갈리네. 문제를 다시 읽어보자. "다운로드의 40%가 진행됐을 때 Windows가 업데이트 설치를 위해 재시작합니다. 이 과정은 \
20분이 걸립니다. 그러고 나서 Carla는 다운로드를 처음부터 다시 시작해야 합니다."

여기서 "처음부터 다시 시작해야 한다"는 것은, 재시작 후에 다운로드를 처음부터 다시 시작하는 것이 아니라, 재시작 과정이 끝나고 나서 \
다운로드를 다시 시작하는데, 이때 이미 다운로드한 40%를 다시 다운로드해야 하는 건가? 아니면, 재시작 후에는 남은 60%를 다운로드하는 \
건가?

문제의 맥락상, 재시작을 위해 시스템이 재시작되면 다운로드가 중단되고, 재시작이 완료된 후에 다시 다운로드를 시작하는데, 이때는 처음부터 \
다시 시작하는 것이 아니라, 이미 다운로드한 부분은 유지한 채로 남은 부분을 다운로드해야 할 것 같아. 그런데 문제에서는 "처음부터 다시 \
시작해야 한다"고 했으니까, 재시작 후에는 처음부터 다시 다운로드를 시작해서, 이미 다운로드한 40%를 다시 다운로드해야 하는 상황이 될 수 \
있나?

만약 그렇다면, 재시작 후에 다시 다운로드를 시작할 때, 이미 40%가 다운로드된 상태에서 시작하는 게 아니라, 처음부터 다시 다운로드를 \
시작해서 40%를 다시 다운로드해야 한다면, 시간이 더 걸릴 수 있겠지. 하지만 문제에서 "처음부터 다시 시작해야 한다"는 표현은 아마도 재시작 \
과정이 끝나고 나서 다운로드를 다시 시작하는데, 이때는 이미 다운로드한 데이터를 다시 다운로드하는 것이 아니라, 남은 데이터를 다운로드하는 \
것을 의미할 수도 있어.

(하략)...

• 영어 모델에서는 틀리더라도 풀이과정이 틀려서 틀린 답이 나올 뿐, 이 정도로 이상한 논리를 반복하지는 않음

Future work

• 원래 EXAONE-Deep이 가지고 있었던, 간단한 질문에 대해서는 생각하지 않는 능력을 유지시키기
• Merge, GRPO 등의 Post Training으로 추론 정확도 개선
• 추론 길이 최적화