4B급 Gemma3와 Gemma4 한국어 SFT 비교: 품질, 학습, 노이즈

이 글은 google/gemma-3-4b-it와 google/gemma-4-E4B-it를 같은 한국어 instruction 평가 조건에서 비교한다. Gemma4는 judge가 더 자주 선택했고, 출력 형식도 더 잘 지켰다. 질문에 오타나 전사 오류가 섞여도 답변이 더 읽을 만하게 남았고, 같은 100-step QLoRA SFT도 더 빨리 끝났다. Gemma3는 일부 reference overlap 지표와 다중 답안 SFT의 상대 개선폭에서 볼 만한 신호를 보였다. 그래서 이 비교는 단순한 승패보다 응답 품질, 학습 반응, 입력 노이즈 안정성이 어디서 갈라지는지를 본다.

비교 대상 모델

평가 방법

평가는 세 축으로 나눴다. 첫째, base 모델의 한국어 응답 품질을 본다. 둘째, 같은 데이터로 SFT한 뒤 응답 품질과 학습 효율이 어떻게 달라지는지 본다. 셋째, 질문 본문에 타이핑 오타나 음성 전사체 오류가 들어갔을 때 답변이 얼마나 흔들리는지 본다.

모든 생성 평가는 같은 출력 제약 아래에서 진행했다.

• 한국어 일반 문장으로 답변하기
• 한 문단으로 쓰고, 400자와 5문장을 넘기지 않기
• Markdown, 제목, 표, 목록, 불릿, 코드, 굵게 쓰기 금지

평가 메트릭

메트릭은 네 가지 축으로 나눠 읽었다.

평가 설계 요약

세 축을 한 번에 비교하기 위한 해석 가이드다.

상단 Figure 1은 이 평가 설계를 따라 전체 결과를 먼저 압축한 요약이다. 각 행은 서로 다른 단위의 지표이므로, 막대 길이는 행 안에서 두 모델의 상대 차이를 보여준다. 세부 해석은 이어지는 Base, SFT, 노이즈 섹션에서 따로 풀어본다.

Base: 품질과 형식 제어

base 비교는 beomi/KoAlpaca-v1.1a holdout 100문항에서 진행했다. Judge Preference는 Gemma4를 0.70 비율로 더 자주 골랐다. 반면 Char F1과 ROUGE-L은 두 모델이 거의 같은 범위에 있었고, Gemma3가 아주 근소하게 높았다.

자동 지표 차이는 작았고, 형식 차이는 컸다

같은 출력 제약을 걸었는데도 Gemma4는 답을 짧게 닫고 형식을 더 잘 지켰다. 반면 Gemma3는 기준 답안과 겹치는 표현이 약간 많게 나온 대신 평균 출력이 길고 5문장 제한을 자주 넘겼다.

따라서 base 결과는 단순한 품질 승패가 아니라, 작은 기준 답안 유사도 차이와 큰 지시 준수 차이가 함께 나온 사례로 읽어야 한다. 이 조건에서는 Gemma3의 형식 위반과 장황함이 Judge Preference를 끌어내린 주요 요인이었을 가능성이 크다. 자동 지표의 근소한 차이는 유의미한 품질 차이로 해석하기 어렵다.

SFT: 성능과 학습 효율

성능 비교

QLoRA learning curve에서는 base부터 step500까지 같은 평가셋으로 비교했다. Judge Preference 기준으로는 모든 stage에서 Gemma4가 우세했다. step50에서 0.92, step200에서 0.85, step500에서 0.79를 기록했다.

다만 자동 지표는 한 방향으로만 움직이지 않았다. ROUGE-L은 두 모델이 비슷한 범위에서 오갔고, step200과 step500에서는 Gemma3가 아주 근소하게 높았다. 그래서 이 결과는 “Gemma4가 모든 숫자에서 이겼다”가 아니라, “SFT 후 Judge Preference와 출력 제어는 Gemma4 쪽으로 기울었고, reference match 차이는 유의미한 품질 차이로 보기 어려웠다”로 읽는 편이 정확하다.

SFT 후 품질 차이는 Judge Preference에서 더 분명했다

Gemma4는 learning curve와 100-step 구성 비교 모두에서 더 자주 선택됐다. 반면 ROUGE-L 차이는 작아서 품질 우세의 근거로 삼기 어렵다. 따라서 SFT 성능 비교의 중심은 기준 답안 유사도가 아니라 Judge Preference와 출력 제어다.

100-step SFT 구성 비교는 답안 다양성 효과와 단순 반복 효과를 분리하기 위해 세 조건으로 나눴다.

• 단일 답안(single): 질문마다 기준 답안 1개만 붙인 기본 구성
• 다중 답안(multi): 같은 질문에 여러 답안 변형을 붙여 답안 다양성을 늘린 구성
• 반복 대조군(duplicate): multi와 row 수를 맞추기 위해 single 데이터를 반복한 대조 구성

이 비교에서도 Judge Preference와 Judge Score는 Gemma4가 우세했다. 단일 답안, 다중 답안, 반복 대조군 모두 Gemma4가 더 자주 선택됐고, Judge Score도 더 높았다. 다만 다중 답안 조건에서는 Gemma3의 Judge Preference가 0.0667에서 0.3333으로 올라 격차가 줄었다.

다중 답안 조건은 별도로 볼 만하다. 같은 질문에 여러 답안 변형을 보여줬을 때 Gemma3의 Judge Preference는 0.0667 -> 0.3333으로 올랐다. Gemma4도 여전히 이겼지만 0.9333 -> 0.6667로 격차가 줄었다. 그래서 Gemma3는 답안 다양성에 더 크게 반응한 것으로 보인다. 다만 그것이 최종 품질 우세로 전환되지는 않았다.

학습 효율 비교

학습 효율도 위 세 구성의 100-step SFT 조건에서 비교했다. loss는 모델 간 절대값을 그대로 품질 순위로 바꾸면 안 된다. tokenizer와 출력 분포가 다르기 때문이다. 여기서는 같은 모델 안에서 loss가 내려갔는지, 그리고 같은 100-step 조건에서 어느 쪽이 더 빠르게 학습을 마쳤는지를 봤다.

둘 다 학습됐지만, 같은 step은 Gemma4가 더 빨랐다

loss 감소는 양쪽 모델 모두에서 SFT가 실제로 진행됐다는 확인용 신호다. 효율 비교에서 더 직접적인 차이는 runtime이었다. 같은 100-step 조건을 끝내는 데 걸린 시간은 세 구성 모두 Gemma4가 짧았다.

Figure 3의 Loss Remaining은 마지막 step loss가 첫 step loss의 몇 퍼센트로 남았는지를 뜻한다. 낮을수록 같은 run 안에서 loss가 더 많이 줄었다는 의미지만, 모델 간 절대 품질 비교로 읽으면 안 된다. 여기서는 SFT가 실제로 진행됐는지 확인하는 sanity check로만 사용했다.

결과는 두 가지로 읽을 수 있다. 먼저 세 구성 모두에서 마지막 step loss가 첫 step loss보다 크게 낮아졌으므로, 양쪽 모델 모두 SFT가 진행됐다는 점은 확인된다. 그러나 같은 100-step을 끝내는 시간은 모든 구성에서 Gemma4가 짧았다. 단일 답안은 1348s 대 2411s, 다중 답안은 1427s 대 2682s, 반복 대조군은 1510s 대 2683s였다. 따라서 이 실험에서 학습 효율 차이는 loss의 절대값이 아니라 runtime에서 더 분명하게 나타났다.

노이즈: 질문이 흔들릴 때

노이즈 실험에서는 SFT된 모델에 실제 사용자 입력 오류에 가까운 질문을 넣어 봤다. 여기서 손상은 시스템 프롬프트나 템플릿이 아니라 질문 본문에만 적용했다. Real typo는 타이핑 오타와 띄어쓰기 붕괴, ASR noise는 음성 전사체처럼 구두점이 사라지거나 발음 유사 표현이 섞인 입력이다.

결과는 두 층으로 읽어야 한다. 두 현실형 노이즈 조건 모두에서 raw 입력보다 손상 입력의 Readability 점수가 낮아졌다. 중요한 점은 손상된 입력 상태의 절대 Readability가 Gemma4 쪽에 더 높게 남았다는 것이다. 두 가지 현실형 노이즈 평균에서 Gemma4는 5.50, Gemma3는 3.93이었다.

둘 다 흔들렸지만, 흔들린 뒤의 품질은 Gemma4가 높았다

이 실험은 노이즈가 성능을 올리는지 보는 것이 아니다. 원래 질문과 손상 질문을 같은 모델 안에서 비교하고, 손상된 입력에서도 답변이 얼마나 읽을 만하게 남는지를 Readability로 본다. 두 현실형 노이즈 조건에서 손상 입력의 Readability 평균은 Gemma4가 더 높았다.

따라서 노이즈 결과는 Figure 4의 두 패널을 함께 봐야 한다. 왼쪽은 손상된 입력을 받았을 때 어느 모델 답변이 더 읽을 만하게 남았는지를 보여준다. 오른쪽은 같은 모델 안에서 raw 대비 얼마나 흔들렸는지를 보여준다. 이 둘은 같은 결론을 말하는 지표가 아니다.

Table 7은 손상 입력에서의 모델 간 차이를 원래 평가 지표 중심으로 다시 정리한 것이다. 같은 손상 질문에 대해 gpt-oss-120b가 1-10점으로 평가한 Readability, 기준 답안 overlap인 Char F1, 출력 형식 위반율인 Violation을 나란히 놓았다. raw 대비 하락폭은 Figure 4의 오른쪽 패널에서 따로 보고, 이 표에서는 손상된 입력을 받은 뒤 어느 모델의 답변이 더 읽을 만하게 남았는지를 본다.

결론

이 비교에서 가장 안정적으로 남는 결론은 단순하다. Gemma4는 base와 SFT 모두에서 Judge Preference와 Judge Score, 출력 형식 제어, 현실형 질문 손상 조건의 절대 Readability에서 더 강했다. SFT도 실제로 진행됐고, 100-step SFT 조건에서는 runtime도 더 짧았다.

Gemma3의 장점은 더 좁게 써야 한다. ROUGE-L과 Char F1에서 보인 차이는 작아서 유의미한 품질 우세로 해석하기 어렵다. 더 분명하게 남는 신호는 같은 질문에 여러 답안 변형을 보여준 학습에서 개선폭이 더 크게 나타났다는 점이다. 하지만 그것도 최종 품질 우세나 일반적인 노이즈 안정성 우세로 넓히면 과장된다.

4B급 한국어 SFT 비교에서 Gemma4는 Judge Preference, Judge Score, 형식 제어, 학습 효율, 현실형 질문 손상 조건의 절대 Readability에서 더 일관되게 앞섰다. Gemma3는 답안 다양성에 더 크게 반응하는 모습이 있었지만, 기준 답안 유사도 차이는 품질 우세로 보기 어려웠다.

Appendix: 실험 조건

본문에는 결론을 읽는 데 필요한 수치만 남겼다. 재현을 위해 필요한 조건은 아래에 따로 정리한다. 핵심은 같은 데이터 분할과 같은 판정 조건에서 base, SFT, 질문 본문 손상 평가를 분리해 본 것이다.

Citation

이 글을 인용할 때는 아래 형식을 사용할 수 있다.

Ilho Ahn, "4B급 Gemma3와 Gemma4 한국어 SFT 비교: 품질, 학습, 노이즈", Mini Research, Apr 2026.

또는 BibTeX 형식으로는 다음처럼 적을 수 있다.

@article{ahn2026gemma3gemma4korean,
  author = {Ilho Ahn},
  title = {4B급 Gemma3와 Gemma4 한국어 SFT 비교: 품질, 학습, 노이즈},
  journal = {Mini Research},
  year = {2026},
  month = apr,
  url = {https://muted-color.github.io/research/2026/04/12/gemma3-e4b-korean-sft/}
}