Gemma3 4B와 Gemma4 E4B의 한국어 SFT 비교

한국어 instruction 응답 비교에서는 답변 내용과 출력 형식이 같은 judge 점수에 반영될 수 있다. 이 글은 Gemma3 4B와 Gemma4 E4B를 추가 지도 미세조정(supervised fine-tuning, SFT) 전후로 비교하고, judge 선택률·기준 답안과의 표현 중복·형식 준수가 같은 방향으로 움직이는지 확인한다. 답안 구성과 입력 손상에 따른 변화도 별도로 살폈다.

요약

• 추가 SFT 전 100문항: Gemma4의 Judge Preference는 0.70, Gemma3는 0.30이었다. 형식 위반율은 0.11 대 0.90으로 차이가 컸지만, judge 차이 중 형식과 내용이 각각 기여한 비중은 분리하지 않았다.
• SFT checkpoint 비교: Gemma4의 선택률은 step50·200·500에서 0.92·0.85·0.79였다. 학습이 길어질수록 모델 간 상대 격차가 계속 커지는 패턴은 아니었다.
• 답안 구성 30문항 비교: 다중 답안 조건에서 모델 간 judge 격차가 줄었다. 두 모델의 답변이 함께 바뀌므로, 선택률 변화만으로 특정 모델의 답안 다양성 효과를 확정할 수 없다.
• 100-step 소요시간: DGX Spark GB10의 세 구성 모두 Gemma4가 짧았다. 같은 step 수를 맞춘 결과이며, 총 파라미터·처리 토큰·연산량을 맞춘 효율 비교는 아니다.
• 입력 손상 50문항 비교: 손상 후 Readability는 Gemma4가 높았지만, 원본 대비 하락폭은 Gemma3가 작았다. 절대 점수 우위와 변화에 대한 민감도는 구분해야 한다.

아래는 기존 노트에 남은 집계값·설정·답변 예시를 정리한 결과다. 이번 개정에서는 원자료 재분석이나 실험 재실행을 하지 않았으며, 반복 실행의 변동과 통계적 유의성은 확인하지 않았다.

Experimental Setup

모델과 데이터

비교 대상은 Google의 instruction-tuned checkpoint google/gemma-3-4b-it와 google/gemma-4-E4B-it이다. 이 글의 base는 추가 SFT 전 상태를 뜻하며, 사전학습 전용 모델을 뜻하지 않는다. [1], [2]

비교 대상 모델

Gemma4 E4B의 E는 effective를 뜻한다. 공식 모델카드는 4.5B effective, 임베딩을 포함하면 8B로 기재한다. 따라서 두 모델의 총 파라미터 수를 맞춘 비교로 해석할 수 없다. 이하에서는 각각 Gemma3와 Gemma4로 줄여 쓴다. [2]

한국어 instruction 데이터는 beomi/KoAlpaca-v1.1a의 train split을 사용했다. 기록된 분할 방식은 random holdout, 분할 seed는 42이며, 각 비교 안에서 두 모델에 같은 평가 index를 적용했다. 평가별 문항 수와 변경 조건은 Table 1에 정리했다. [3]

추가 학습에는 Dettmers et al.의 QLoRA를 사용했다. 4-bit로 불러온 모델의 가중치는 고정하고 LoRA adapter를 학습하는 방식이다. 기록된 adapter·batch·생성 설정은 Appendix Table 3에 모았다. [5]

출력 제약과 지표

모든 생성 평가는 한국어 일반 문장, 한 문단, 400자 이내, 최대 5문장을 요구했다. Markdown·제목·표·목록·불릿·코드·굵은 글씨는 금지했다.

판정기는 gpt-oss-120b GGUF를 llama.cpp로 실행했다. Judge Preference 비교에서는 기준 답안을 보여주지 않고 두 답변의 순서를 섞었다. 질문에 직접 답하는지, 사실적으로 무리한 설명이 적은지, 한국어가 자연스러운지, 출력 형식을 지키는지를 평가했다. [4]

• Judge Preference / Score: Preference는 같은 질문에서 두 답변 중 선택된 비율이다. Score는 개별 답변에 부여한 1–10점의 평균이다. 형식 준수가 rubric에 포함되어 있어 내용 품질만의 지표는 아니다.
• Char F1 / ROUGE-L F1: 기준 답안과의 문자 중복 및 순서를 유지한 공통 부분열을 측정한다. 표현 유사도이며 사실 정확도나 완결성을 직접 검증하지 않는다. ROUGE의 출처는 Lin의 지표 논문이다. [6]
• Violation: 공통 출력 제약의 위반율로 낮을수록 좋다. Figure 1의 Format alignment는 이를 형식 준수율로 바꾼 값이다.
• Readability: 같은 judge가 답변별로 자연스러움·질문 의도 복원·반복과 끊김·설명의 유지 정도를 1–10점으로 평가했다. 손상 입력의 평균과 원본 입력 대비 변화량을 따로 읽는다.

Results

추가 SFT 전: judge 선택률과 형식 준수

Table 2에서 Gemma4의 Preference는 0.70으로 높았고, Gemma3의 Char F1과 ROUGE-L F1은 소폭 높았다. 가장 큰 차이는 형식 위반율 0.11 대 0.90이었다. 평균 출력 길이도 353.2자 대 516.9자로 달랐다.

Judge rubric이 형식 준수를 포함하므로 선택률 차이에 형식이 기여했을 가능성이 있다. 다만 형식을 맞춘 답변끼리의 비교나 내용만의 별도 판정이 없어 그 비중은 알 수 없다. 작은 표현 중복 차이 역시 품질 우위의 근거로 충분하지 않다.

Sample 1은 형식 위반이 드러나는 실제 답변 일부다. 이 사례의 점수 차이를 전체 100문항의 원인 설명으로 일반화할 수는 없다.

SFT checkpoint: 선택률과 표현 중복의 다른 움직임

Figure 2와 Table 3은 같은 100문항에서 base부터 step500까지 비교한 결과다. Gemma4의 Preference는 모든 checkpoint에서 높았지만, step50의 0.92에서 step500의 0.79로 낮아졌다. 이 비율은 매 단계에서 두 모델을 비교한 값이므로 한 모델의 절대 품질 변화로 읽을 수 없다. step500의 실제 출력과 judge 점수 예시는 Appendix Sample 1에 모았다.

두 모델 모두 base보다 형식 위반율이 낮아졌다. ROUGE-L F1은 step50에서 Gemma4가 높고, step200·500에서는 Gemma3가 소폭 높았다. Judge 선택률과 표현 중복이 일치하지 않는다는 관찰은 남지만, 반복 변동이 없는 이 표만으로 작은 차이의 유의성을 판정할 수는 없다.

SFT 답안 구성: 다중 답안 조건에서 줄어든 격차

Table 4는 별도 30문항에서 평가한 100-step 비교다. 질문마다 기준 답안 하나를 둔 single은 100 rows, 같은 질문에 여러 답안 변형을 둔 multi는 300 rows였다. duplicate는 single을 반복해 multi와 300 rows를 맞춘 대조군이다. Batch 16과 최대 길이 1,024를 공통으로 사용했다.

Gemma4의 선택률과 평균 Score는 세 구성 모두 높았다. 다만 multi에서는 Gemma3의 Preference가 single의 0.0667에서 0.3333으로 올라 모델 간 격차가 줄었다. 개별 Score도 Gemma3는 3.8333에서 5.4667로, Gemma4는 7.1333에서 6.4667로 서로 다른 방향으로 움직였다.

이 결과는 답안 구성에 따라 모델 간 비교가 달라졌다는 탐색적 신호다. Pairwise 선택률은 상대 모델의 변화에도 영향을 받고, 문항별 결과와 반복 실행이 제시되어 있지 않다. 따라서 “Gemma3가 답안 다양성에 더 잘 반응한다”는 일반적 학습 특성까지 확정하기는 어렵다.

100-step 학습 소요시간

Table 5에서 Gemma4/Gemma3의 소요시간은 single 1348s/2411s, multi 1427s/2682s, duplicate 1510s/2683s였다. DGX Spark GB10에서 기록한 세 구성 모두 Gemma4가 짧았다.

같은 step·batch·최대 길이는 맞췄지만, tokenizer와 모델 구조가 다르고 실제 처리 토큰이나 연산량은 보고되어 있지 않다. 이 결과가 보여주는 것은 해당 실행 조건의 소요시간 차이다. 두 모델 모두 첫 step 대비 마지막 step의 loss는 낮아졌으나, 학습 데이터에 대한 loss 감소를 일반화 성능의 근거로 삼지는 않는다. Loss Remaining 도표는 Appendix Figure 1에 두었다.

입력 손상: 절대 점수와 하락폭의 분리

SFT된 모델에 대해 50문항의 질문 본문만 손상시켰다. Table 6의 Real typo는 타이핑 오류와 띄어쓰기 붕괴, ASR noise는 음성 인식 전사체를 모사한 텍스트 오류다. 시스템 프롬프트와 출력 제약은 유지했다.

Table 7에서 손상 후 Readability는 두 조건 모두 Gemma4가 높았다. 두 조건의 평균은 Gemma4 5.50, Gemma3 3.93이었다. 그러나 Figure 3의 원본 대비 하락폭은 Gemma3가 더 작다. 따라서 손상 후 더 높은 점수를 유지하는 모델과 원본 대비 점수 변화가 작은 모델은 이 기록에서 다르다.

Sample 2는 오타가 섞인 동일 질문의 실제 출력이다. 반복과 설명 구성 차이를 볼 수 있지만, Readability는 개념 설명의 사실성을 별도로 검증한 점수가 아니다.

해석과 한계

여러 비교 조건에서 관찰된 것은 Gemma4의 높은 judge 선택률과 낮은 형식 위반율이다. SFT 답안 구성을 바꾸면 격차가 달라졌고, 입력 손상 후 절대 Readability와 원본 대비 하락폭은 서로 다른 모델을 가리켰다. 한국어 instruction 평가에서 내용·형식·표현 중복·입력 변화에 대한 민감도를 구분해야 하는 이유를 보여주는 사례다.

결론의 범위는 다음 조건에 한정된다.

• 판정의 독립성: 단일 judge를 사용했다. 형식과 내용의 기여를 분해하거나 인간 평가로 사실성을 검증한 결과는 제시되어 있지 않다.
• 표본과 변동: 평가 크기는 비교별 100·30·50문항이다. 현재 노트에 문항별 결과와 반복 실행 분포가 제시되어 있지 않아 신뢰구간이나 작은 차이의 안정성을 새로 계산하지 않았다.
• 학습 비교: 동일한 step 수가 동일한 계산 예산을 뜻하지는 않는다. SFT 구성의 관찰은 현재 데이터·모델·학습 설정의 범위를 넘어서 일반화하지 않는다.
• 재현 정보: 현재 노트에는 learning rate, 정확한 모델·데이터 revision, GGUF 파일, 모델별 thinking·sampling 설정, 동률 처리와 전체 judge prompt가 남아 있지 않다. 공개 리소스 링크는 출처를 확인해 주지만 당시 실행을 완전히 복원하지는 못한다.

Appendix: 기록된 실험 조건과 보조 자료

Appendix Table 1–3은 기존 노트에 남아 있는 설정이다. 본문에서 축약한 데이터 분할·판정·학습 조건을 모았으며, 누락된 설정을 추정해 채우지는 않았다.

학습 신호의 보조 시각화

SFT 출력과 judge 점수 예시

References

Experiment Resources

Citation

이 글을 인용할 때는 아래 형식을 사용할 수 있다.

Ilho Ahn, "Gemma3 4B와 Gemma4 E4B의 한국어 SFT 비교", Mini Research, Apr 2026.

또는 BibTeX 형식으로는 다음처럼 적을 수 있다.

@article{ahn2026gemma3gemma4korean,
  author = {Ilho Ahn},
  title = {Gemma3 4B와 Gemma4 E4B의 한국어 SFT 비교},
  journal = {Mini Research},
  year = {2026},
  month = apr,
  url = {https://muted-color.github.io/research/2026/04/12/gemma3-e4b-korean-sft/}
}