LLM ALIGNMENT
Alignment Data Map: 공통 평가 쌍의 SimPO 경계 통과 시점과 모델별 차이
Ilho Ahn
ADM HighAvg와 Random 데이터로 학습한 모델을 동일한 평가 쌍에서 비교하고, SimPO 경계 통과 시점이 모델과 체크포인트에 따라 어떻게 달라지는지 추적한다.
Lee et al.의 Alignment Data Map(ADM) [1]은 한 지시문의 후보 응답에서 계산한 alignment score의 평균과 분산으로 학습 데이터를 구분한다. 핵심은 모든 preference data가 같은 학습 가치를 갖는다고 보지 않고, 후보 응답의 평균 품질과 응답 간 분산으로 선택 구간을 찾는 것이다. 원 연구는 평균 점수가 높고 분산이 낮은 HighAvg 표본 33%만으로도 전체 데이터와 비슷하거나 더 높은 alignment 성능을 얻을 수 있다고 보고했다.
선택된 학습 데이터와 학습 효과를 측정할 평가 쌍은 역할이 다르다. 이 후속 분석은 Qwen2.5-Instruct 1.5B·3B·7B를 HighAvg 또는 Random 데이터로 학습한 뒤, 두 정책에서 동일한 비중복 평가 600쌍의 변화를 추적한다. 학습 데이터 선택에 따라 평가 쌍의 선호 방향을 바로잡거나 SimPO 목표 margin에 도달하는 시점이 달라지는지가 질문이다.
요약
- HighAvg와 Random 조건에서 Qwen2.5-Instruct 1.5B·3B·7B를 각각 세 시드, 276 optimizer update로 학습했다. 추적 대상은 학습 쌍이 아니라 두 조건에 공통으로 사용한 비중복 평가 600쌍이다.
- 세 모델 크기 모두에서 학습 전보다 높은
R/U/Tstate로 끝난 pair 비율은 HighAvg가 Random보다 높았다. 그러나 이점은 모델 크기에 따라 일정하게 커지지 않았다. 7B에서 가장 컸지만, 3B의 최종 차이는 1.5B보다 작았다. - 이 차이는 모든 pair의 작은 개선에서 나온 것이 아니었다. HighAvg에서는 Random보다 boundary를 넘어 더 높은 state로 이동한 pair가 많고, 같은 state 안에서 margin만 증가한 pair는 적었으며, 일부 regression도 더 관찰됐다.
- 가장 분명한 차이는 같은 학습량 안에서 boundary를 넘는 upward passage가 HighAvg에서 더 이른 checkpoint에 관찰됐다는 점이다. 후반에는 Random이 일부 pair에서 따라오며 최종 격차가 줄었다.
- 이 결과는 이미 주어진 응답 쌍에 정책이 부여하는 점수의 변화다. Objective 경계 통과가 생성 답변이나 실제 도구 사용의 개선을 뜻하지는 않으며, 이 비교에서는 그 성능을 평가하지 않았다.
문제 설정
ADM은 측정된 응답 집합의 특성을 나타내고 학습할 지시문을 선택한다. 실제 preference optimization의 단위는 지시문 선택 뒤에 구성되는 prompt와 chosen–rejected 응답 쌍이다. 지시문을 선택할 때 사용한 reference scorer와 학습 대상 모델이 같은 응답 쌍을 똑같이 어렵다고 볼 이유는 없다.
이 구분을 바탕으로 다음 질문을 검토했다.
HighAvg와 Random 데이터로 학습했을 때, 공통 평가 쌍의 경계 통과는 정책의 초기 상태, 모델 변형, 학습 시점에 따라 어떻게 달라지는가?
검토한 가설은 모델 규모가 커질수록 HighAvg의 효과도 단조 증가할 수 있다는 것이었다. 선택된 학습 쌍이 미묘하지만 유용한 차이를 담고 있다면 더 큰 모델이 이를 더 효과적으로 학습할 수 있다고 예상했다.
관련 연구
선택 기준의 차이
Preference pair의 가치는 먼저 데이터 자체에서 측정한 특성으로 구분할 수 있다. ADM은 후보 응답의 alignment score 평균과 분산으로 지시문을 나눈다 [1]. Xiao et al.은 on-policy reward distribution에서 chosen과 rejected의 위치를 비교했고 [2], Deng et al.은 external reward margin과 implicit DPO margin을 결합해 학습 데이터를 선택했다 [3].
다른 축은 현재 policy에서 측정한 학습 상태다. Yang et al.은 policy와 reference policy가 만드는 implicit DPO reward margin이 작은 pair를 우선 annotation했고 [4], Huang et al.은 현재 policy의 implicit margin과 목표 explicit margin 사이의 간격을 alignment potential로 정의했다 [5]. 따라서 score gap이나 difficulty는 하나의 공통 난이도 지표가 아니다. Reference separation, policy-relative margin, target까지의 거리는 서로 다른 신호다.
시간에 따라 변하는 가치
학습이 진행되면 같은 pair의 가치도 달라질 수 있다. Peng et al.의 Uni-DPO는 pair의 intrinsic quality와 학습 중 변하는 model performance를 함께 사용해 가중치를 조정한다 [6]. Li et al.의 MetaPO는 reward-margin evolution, learning volatility, reference deviation으로 시간 의존적 sample weight를 학습한다 [7]. 별도의 분석에서는 input complexity와 output ambiguity가 서로 다른 학습 동역학과 연결된다고 보고했다 [8]. 이 연구들의 공통점은 유용한 pair가 현재 policy와 학습 시점에 따라 달라질 수 있다는 점이다.
이 글의 분석 범위
이 글은 고정된 ADM selection 조건으로 학습한 모델을 학습 데이터와 분리된 공통 평가 세트에서 비교한다. 이 평가 쌍의 상태 전이와 제한된 update budget 안에서 처음 더 높은 상태가 관측되는 시점을 추적한다. 학습 데이터 선택의 효과를 비중복 평가 쌍의 점수 궤적으로 확인하는 분석이며, 새로운 선택 규칙이나 가중치 방법을 제안하지는 않는다.
실험 설계
데이터 선택과 학습 비교
이 글에서 HighAvg는 고정된 reference answer 집합과 scorer로 만든 ADM의 높은 평균·낮은 분산 영역에서 선택한 지시문으로 구성한 preference pair, Random은 같은 원천 pool에서 무작위로 선택한 지시문으로 구성한 preference pair를 뜻한다.
두 조건은 같은 원천 pool에서 source와 task 구성을 유지해 만들고, 동일한 LoRA·SimPO recipe로 학습했다. 학습 대상 모델은 official Qwen2.5-Instruct 1.5B, 3B, 7B이며, 각 모델 크기마다 서로 다른 seed로 세 번씩 실행했다. 두 조건은 약 3 epoch에 해당하는 276 optimizer update와 명목상 batch 예산을 맞췄다. 처리 토큰 수나 실제 소요시간까지 동일하게 맞춘 비교는 아니다.
학습 데이터와 prompt·pair가 겹치지 않는 600쌍을 공통 평가 데이터로 정하고, base policy와 step 92·184·276 checkpoint에서 반복 평가했다. 같은 pair를 유지했기 때문에 endpoint aggregate뿐 아니라 각 pair가 학습 중 어느 상태로 이동했는지도 추적할 수 있다. 이 데이터는 새 blind test가 아니라 후속 분석에서도 고정해 사용한 development 자료다.
SimPO margin과 state trajectory
이 글에서는 Qwen2.5-Instruct의 모델 변형과 크기를 말할 때는 학습 대상 모델, 특정 checkpoint에서 응답 확률을 정하는 $\pi_t$를 policy로 구분한다.
하나의 pair를 $z=(x,y_w,y_l)$라고 할 때 policy의 length-normalized log-probability margin을 다음과 같이 정의한다.
\[\Delta_{\pi}(z) = \frac{\log \pi(y_w\mid x)}{|y_w|} - \frac{\log \pi(y_l\mid x)}{|y_l|}.\]Meng et al.의 SimPO [9]는 $\beta\Delta_{\pi}$가 target margin $\gamma$를 넘도록 학습한다. 이번 설정은 $\beta=2$, $\gamma=1$이므로 target boundary는 $\Delta=0.5$다. 이에 따라 각 pair를 세 state로 구분했다.
\[R:\Delta\le 0, \qquad U:0<\Delta<0.5, \qquad T:\Delta\ge0.5.\]- R — reversed or tied: rejected 응답의 순위가 chosen 이상이며, $\Delta=0$인 동점도 포함한다.
- U — correct, below target: chosen 응답의 순위는 높지만 separation이 SimPO target보다 작다.
- T — target satisfied: chosen–rejected separation이 target에 도달했다.
Figure 1은 두 objective boundary가 세 state를 어떻게 나누는지 보여 준다. 오른쪽으로 이동하는 R→U, R→T, U→T를 upward transition으로 집계했다.
R/U/T state 공간. 오른쪽은 policy margin이 커지는 방향이며, 양끝 화살표는 R과 T가 열린 구간임을 나타낸다. 구간 폭은 수치 범위나 pair 비율을 뜻하지 않는다.이 state 구분에서 policy가 rejected 응답을 크게 선호하는 pair는 제한된 update 안에 다음 boundary를 넘기 어려울 수 있다. 이미 chosen 응답을 target margin 이상으로 선호하는 pair는 R/U/T 상태 기준으로 더 올라갈 단계가 없다. 그 사이에서는 다음 preference 또는 target-margin boundary가 도달 가능한 거리에 있어 같은 pair가 upward state transition을 만들 수 있다.
첫 upward passage 관측 시점은 학습 전보다 높은 state가 처음 확인된 평가 checkpoint를 뜻한다. State-standardized upward movement는 특정 checkpoint의 state가 base보다 높은 pair 비율에서 HighAvg-minus-Random 차이를 계산하고, base state별 차이를 공통 R/U/T 분포로 가중 평균한 값이다.
모델 크기 비교는 세 official Qwen2.5-Instruct 변형인 1.5B·3B·7B에서 관측한 결과다. 이 모델 변형들은 parameter count 외의 학습 조건과 post-training 결과도 함께 다르므로, parameter 수만 바꾼 통제 실험은 아니다.
결과
모델 크기별·학습 시점별 효과
Step 276에서 HighAvg는 세 모델 크기의 세 seed 모두에서 Random보다 reward accuracy, policy margin, final upward movement, target reach가 높았고 SimPO loss는 낮았다. Appendix Table 2에 모델·시드별 endpoint accuracy와 loss 차이를 기록했다. 표의 반복 범위는 세 학습 시드이며, 신뢰구간으로 요약하지 않았다.
그러나 효과 크기는 예상한 단조 순서를 만들지 않았다. 초기 state 구성을 공통 분포로 표준화한 HighAvg-minus-Random 최종 upward-movement 차이는 1.5B +5.64%p, 3B +4.27%p, 7B +8.06%p였다.
Figure 2에서 checkpoint별 변화를 함께 보면, step 276에서 3B의 효과가 1.5B보다 작았던 순서는 전체 학습 구간에 걸쳐 유지되지 않았다. 3B와 7B의 HighAvg-minus-Random 평균 차이는 step 184에서 가장 컸다가 최종 checkpoint에서 다소 줄었다. 3B의 세 seed에서도 이 차이는 92→184 구간에 커지고 184→276 구간에 줄었다.
HighAvg의 효과는 모델 크기가 커질수록 일정하게 증가하지 않았고, 같은 모델에서도 평가 checkpoint에 따라 달라졌다. 따라서 모델 크기뿐 아니라 각 pair의 초기 R/U/T 상태와 다음 boundary까지의 거리도 함께 고려해야 한다.
Endpoint accuracy와 transition 구성
Reward accuracy는 $\Delta>0$인 쌍만 센다. 0 경계를 넘을 때 값이 바뀌지만 U→T, T→U, 같은 상태 안의 margin 변화는 드러나지 않는다. 최종 값만으로는 그 상태에 도달한 경로도 알 수 없다. 상태 분해는 accuracy가 보여 주지 않는 변화를 추가로 설명한다.
동일 pair의 학습 궤적을 세부 분해하면, HighAvg가 모든 pair에서 조금씩 더 큰 margin 증가를 만든 것은 아니었다. 세 모델 모두에서 학습 내내 같은 state에 머문 pair가 줄었고, downward transition 없이 더 높은 state로 끝나거나 step 276까지 target state에 도달한 pair가 늘었다. 변화 폭은 대체로 1.5B와 7B에서 크고 3B에서 작았다.
Figure 3과 같이 이동이 모두 위쪽이었던 것은 아니다. 학습 중 한 번이라도 downward transition을 경험한 pair의 비율도 HighAvg가 Random보다 세 모델 모두에서 약 2%p 높았다. HighAvg에서는 더 많은 pair의 state가 바뀌었고, 그 안에는 일부 regression도 포함됐다.
공통 평가 데이터를 pair 단위로 보면, HighAvg와 Random의 차이는 같은 state 안에서 margin이 조금 증가한 경우보다 boundary를 넘어 더 높은 state로 이동한 경우에 더 뚜렷했다. 모든 모델에서 이 이동이 HighAvg에서만 관찰된 pair가 Random에서만 관찰된 pair보다 많았다. 반면 state가 유지된 채 $\Delta$만 증가한 pair는 HighAvg에서 오히려 적었다.
T였던 pair를 제외한다.Reference score와 다음 boundary까지의 거리
모델 크기에 따른 차이를 설명하는 한 가설은 HighAvg로 선택된 지시문에서 만든 pair의 chosen과 rejected 응답이 서로 구분하기 어려워 미묘한 학습 신호를 만든다는 것이다. Reference scorer가 chosen과 rejected에 부여한 절대 점수 차이는 이 응답 구분의 모호성을 나타내는 보조 지표다. 점수 차이가 클수록 reference scorer에서는 두 응답의 구분이 선명하다.
Base state가 R 또는 U인 각 pair에서 Random의 첫 upward passage 빈도는 세 Random 실행 중 step 276까지 upward passage가 관찰된 실행의 비율로 정의했다. Figure 4에서 이 빈도와 reference score gap 사이의 Spearman 상관은 ρ=.070–.124로 작았다. 지시문 단위 ADM mean, variance, score range도 276-update 범위의 passage와 거의 상관이 없었다.
학습 전 policy에서 다음 objective boundary까지의 거리는 더 강한 연관을 보였고, 상관은 ρ=−.469에서 −.443 사이였다. 다음 boundary가 멀수록 276 update 안에 upward passage가 발생할 가능성이 낮았다.
거리와 passage는 같은 policy margin과 경계로 정의된다. 따라서 이 상관은 그 좌표계 안의 기술적 관계이며, 별도의 학습 메커니즘을 입증하지 않는다. 다음 절에서는 초기 상태와 거리 구간을 맞춘 뒤에도 HighAvg–Random 차이가 남는지를 비교한다.
+.070–+.124로 작았고, next-boundary distance는 −.469–−.443으로 일관된 음의 상관을 보였다.두 측정은 서로 다른 질문에 답한다. ADM은 고정된 reference 측정으로 영역을 정의하고 학습 지시문을 선택한다. 다음 경계까지의 거리는 평가 대상 정책에서 각 공통 평가 쌍이 출발한 위치를 나타낸다. 학습 데이터 선택과 관측된 학습 궤적을 연결할 때도 이 두 역할을 구분해야 한다.
Upward passage의 시점 차이
Base state가 R 또는 U인 pair에서 base보다 높은 state가 처음 관측된 checkpoint를 비교했다. 비교값은 학습 전 state와 각 state 내 다음 boundary 거리 사분위의 공통 분포로 직접 표준화했다. 그 결과 HighAvg-minus-Random cumulative upward passage 차이는 step 92부터 양수였고, 대체로 step 184에서 가장 컸다(Table 1).
| 모델 | Step 92 | Step 184 | Step 276 |
|---|---|---|---|
| 1.5B | +6.44%p | +9.28%p | +8.79%p |
| 3B | +2.79%p | +7.64%p | +5.78%p |
| 7B | +2.26%p | +15.11%p | +13.88%p |
Step 184 이후 격차는 줄었지만, 주된 변화는 HighAvg가 먼저 넘은 boundary를 Random이 뒤늦게 통과한 것이었다. 3B에서 base가 U이고, step 184에 HighAvg는 T에 도달했지만 Random은 U에 머문 pair×seed trajectory는 63개였다. Step 276에는 이 가운데 61개가 HighAvg에서 T를 유지했고, Random은 35개에서 T에 도달했다. 최종 격차가 줄어든 것은 HighAvg가 넓게 후퇴했기보다 Random의 후반 추격이 컸기 때문이다. Figure 5는 이 누적 passage와 다음 boundary까지의 거리 구간별 차이를 함께 보여 준다.
효과가 가장 큰 곳은 boundary에서 가장 먼 pair가 아니었다. HighAvg의 차이는 학습 전 policy가 관측 범위 안에서 다음 state에 도달할 수 있는 거리 구간에 집중됐다. 7B policy는 1.5B·3B policy보다 효과가 나타난 거리 구간이 넓었지만, 이 세 모델 변형만으로 모델 크기에 따른 단조 증가를 결론 내릴 수는 없었다.
여기서 이르다는 upward passage가 동일한 276-update 관측 범위의 더 앞선 평가 checkpoint에서 확인됐다는 뜻이다. 평가 checkpoint가 step 92·184·276에만 있으므로 각 pair가 정확히 몇 번째 optimizer step에서 boundary를 넘었는지는 알 수 없다.
학습 메트릭의 보조 근거
Epoch 1부터 3까지 training accuracy와 training reward margin의 변화량은 세 모델 모두 HighAvg가 Random보다 컸다. SimPO loss 변화도 1.5B와 7B에서는 HighAvg가 더 낮아지는 방향이었고, 3B에서는 두 조건의 차이가 거의 없었다. 정확한 모델별 값과 분석 범위는 Appendix Table 1에 정리했다.
최종 upward-movement 차이가 가장 작았던 3B에서도 training metric 차이는 관찰됐다. 다만 이 값은 서로 다른 학습 데이터에서 측정한 학습 배치 지표다. 공통 평가 데이터에서 관찰한 궤적을 대신하지 않으며, 세 모델 크기에서 HighAvg와 Random 사이에 최적화 관련 차이가 있었음을 보여 주는 보조 근거로만 사용했다.
해석
모델이 커질수록 HighAvg 이점도 커진다는 가설은 세 변형에서 단조적으로 성립하지 않았다. 초기 policy 상태, 다음 경계까지의 거리, 관측 예산은 이 양상을 설명하는 틀이다. 측정된 궤적을 해석하기 위한 연결이며, 원인이 순서대로 확인된 인과 경로는 아니다.
모델 역량이 영향을 줄 가능성은 남아 있다. 다만 세 모델 변형은 초기 R/U/T 구성과 다음 boundary까지의 거리에서도 달랐고, 이 차이가 관찰된 모델별 양상을 더 직접적으로 설명했다. 이 해석은 HighAvg 효과가 세 모델에서 모두 양수이면서 3B보다 1.5B에서 크고, 다시 7B에서 가장 큰 비단조 결과와 시점별 변화에 부합한다. 또한 효과가 학습 중간에 커졌다가 Random의 후반 추격으로 줄어든 관찰과도 부합한다.
고정된 ADM data map은 학습 데이터가 선택된 영역을 알려 준다. 각 체크포인트의 policy margin은 공통 평가 쌍의 궤적을 나타낸다. 학습 데이터 선택 조건과 이 비중복 평가 궤적을 연결했을 때 이번 비교의 중심 결과는 다음과 같았다.
HighAvg는 이 고정 비교에서 일관된 집계상 우위를 보였지만, 모든 pair에서 더 큰 개선을 만들거나 모델 크기에 따라 단조 증가한 것은 아니었다. 가장 분명한 차이는 policy 기준 SimPO boundary를 더 일찍 넘긴 upward passage였다.
선택된 preference data의 실제 학습 효과를 이해하려면 데이터 영역뿐 아니라 policy가 각 pair에서 출발한 위치와 그 transition을 관측한 update 범위를 함께 봐야 했다.
한계
- 공통 평가 데이터는 후속 분석에서도 고정해 사용한 development 자료이므로, 같은 transition pattern이 새로운 외부 평가 데이터에서도 유지되는지는 확인하지 않았다.
- 세 official Qwen2.5-Instruct 모델 변형은 parameter count 외의 학습 조건과 post-training 결과도 함께 다르므로, 관측 차이를 순수한 모델 크기 효과로 해석할 수 없다.
- Upward passage는 step 92·184·276에서만 관찰했으므로, 각 pair가 정확히 어느 optimizer step에서 boundary를 넘었는지는 알 수 없다.
- Pair-cluster bootstrap은 학습된 실행들을 고정하고 평가 쌍을 재표집한다. 학습 시드 모집단의 불확실성을 추정하지 않으며, 재표집 단위는 개별 pair ID다.
- 주요 결과는 주어진 응답 쌍의 점수로 측정했다. 생성 답변의 품질이나 downstream 과제 성능은 이 비교에 포함하지 않았다.
Appendix
평가 및 재현 조건
- 원천 및 ADM 측정: 앞선 연구 노트와 같은 UltraFeedback 4,500개 지시문과 지시문당 후보 응답 4개를 사용했다. Reference answer는 Qwen3.5-122B-A10B로 생성했다. all-mpnet-base-v2의 중첩 창 평균 유사도로 후보 응답을 측정하고, source×task 안에서 ADM 영역을 정했다.
- 학습 데이터: HighAvg와 Random은 각각 1,080개 지시문으로 구성했으며, 유효 preference pair는 5,682쌍과 5,773쌍이다. Chosen–rejected 방향은 원천 데이터의 fine-grained score로 고정했다.
- 학습: SimPO objective와 learning rate
5e-6, linear scheduler, warmup ratio0.1을 사용했다. LoRA 설정은 rank64, alpha128, dropout0.05이며 cutoff length는2048, precision은 BF16이다. - 노출량: Global batch size
63으로 276 optimizer update를 수행하고 step 92·184·276 checkpoint를 저장했다. 두 조건의 명목상 학습 pair 노출량은 모두 17,388이며 약 3 epoch에 해당한다. 결과에 따른 checkpoint 선택은 하지 않고 step 276을 endpoint로 고정했다. - 평가: 학습 데이터와 겹치지 않는 공통 평가 데이터 600쌍을 base와 세 checkpoint에 반복 사용했다. 이 데이터는 blind test가 아니라 고정된 development 자료다.
- 분석: 주요 endpoint와 upward-passage 비교, reference–boundary-distance 상관 분석은 seed 42·43·44를 사용했다. Figure 3의 세부 transition 분해와 Appendix의 training-metric table은 seed 42를 사용했다. 불확실성 구간은 동일 pair의 반복 관측을 함께 유지한 채 pair ID를 재표집하는 pair-cluster bootstrap으로 계산했다.
학습 메트릭 세부값
| Epoch 1→3 변화량의 HighAvg-minus-Random 차이 |
1.5B | 3B | 7B |
|---|---|---|---|
| Training accuracy | +4.06%p | +2.50%p | +4.20%p |
| Training reward margin $\beta\Delta$ |
+0.124 | +0.130 | +0.417 |
| SimPO loss | −0.0343 | +0.0039 | −0.0333 |
공통 평가 세트의 시드별 endpoint
| 모델 | HighAvg accuracy 세 시드 평균 | Random accuracy 세 시드 평균 | Accuracy 차이 (%p) 시드 42 / 43 / 44 | SimPO loss 차이 시드 42 / 43 / 44 |
|---|---|---|---|---|
| 1.5B | 70.06% | 68.72% | +1.00 / +1.83 / +1.17 | -0.0195 / -0.0228 / -0.0280 |
| 3B | 72.56% | 71.11% | +1.17 / +1.50 / +1.67 | -0.0062 / -0.0029 / -0.0051 |
| 7B | 76.17% | 73.17% | +2.50 / +3.83 / +2.67 | -0.0336 / -0.0382 / -0.0257 |
최종 상태 이동의 표준화는 세 모델의 초기 상태를 합친 분포(R 0.350556, U 0.282222, T 0.367222)를 사용한다. 이는 Table 1의 R/U × 거리 사분위 8개 층 표준화와 구분된다.
주요 지표
- Policy margin $\Delta$: policy의 length-normalized chosen–rejected log-probability 차이.
- Reward accuracy: $\Delta>0$인 pair, 즉 policy가 chosen 응답을 rejected 응답보다 선호한 pair의 비율.
- Training reward margin: SimPO 학습 로그에 기록된 $\beta\Delta$의 평균.
- State-standardized upward movement: checkpoint state가 base보다 높은 pair 비율의 HighAvg-minus-Random 차이를 base state별로 계산한 뒤, 공통
R/U/T분포로 가중 평균한 값. - 첫 upward passage 관측 시점: base가
R또는U인 pair가 처음으로 더 높은 state에 도달한 평가 checkpoint. - 다음 boundary까지의 거리: base margin에서 다음 SimPO boundary까지의 거리.
R에서는 $0-\Delta$,U에서는 $0.5-\Delta$다. - Base state × boundary-distance-quartile 표준화: upward passage가 가능한 pair를 두 base state와 각 state 내 네 거리 사분위의 8개 층으로 나누고, 조건 간 차이를 공통 층 분포로 직접 가중한 절차.
- 평가 간격 환산값: step 92·184·276의 cumulative passage indicator를 92-step 평가 간격의 면적으로 요약한 서술 통계. 실제 boundary 통과 step이나 절약한 update 수를 뜻하지 않는다.
- Pair-cluster bootstrap: 각 분석에서 동일 pair의 반복 관측을 함께 유지한 채 pair ID를 재표집한 불확실성 계산.
References
- Lee, S., Kim, E., Lee, H., and Chang, B. Alignment Data Map for Efficient Preference Data Selection and Diagnosis. Findings of ACL 2026, 38225–38241, 2026. ACL Anthology; arXiv
- Xiao, Y. et al. Finding the Sweet Spot: Preference Data Construction for Scaling Preference Optimization. ACL 2025, 12538–12552, 2025. ACL Anthology
- Deng, X. et al. Less is More: Improving LLM Alignment via Preference Data Selection. NeurIPS 2025, 161259–161285, 2025. DOI: 10.52202/085713-5383; NeurIPS
- Yang, S. et al. Not All Preference Pairs Are Created Equal: A Recipe for Annotation-Efficient Iterative Preference Learning. Findings of EMNLP 2024, 6549–6561, 2024. ACL Anthology
- Huang, K. et al. Larger or Smaller Reward Margins to Select Preferences for LLM Alignment? ICML 2025, 25922–25946, 2025. PMLR
- Peng, S. et al. Uni-DPO: A Unified Paradigm for Dynamic Preference Optimization of LLMs. ICLR 2026, 2026. OpenReview
- Li, M., Zhou, X., and Zhao, P. Learning Temporally-Aware Sample Weights for Preference Optimization. Findings of ACL 2026, 12361–12377, 2026. ACL Anthology
- Li, M., Wang, J., and Zhao, P. What Do LLMs Learn First? Asymmetric Learning Dynamics of Input Complexity and Output Ambiguity in Preference Alignment. ACL 2026, 17373–17388, 2026. ACL Anthology
- Meng, Y., Xia, M., and Chen, D. SimPO: Simple Preference Optimization with a Reference-Free Reward. NeurIPS 2024, 124198–124235, 2024. NeurIPS
모델 및 데이터셋 리소스: Qwen3.5-122B-A10B, all-mpnet-base-v2, UltraFeedback, Qwen2.5-1.5B-Instruct, Qwen2.5-3B-Instruct, Qwen2.5-7B-Instruct.
Citation
Text citation:
Ilho Ahn, "Alignment Data Map: 공통 평가 쌍의 SimPO 경계 통과 시점과 모델별 차이", Mini Research, September 1, 2026.
BibTeX:
@article{ahn2026selectedpreferencepairsearlier,
author = {Ilho Ahn},
title = {Alignment Data Map: 공통 평가 쌍의 SimPO 경계 통과 시점과 모델별 차이},
journal = {Mini Research},
year = {2026},
month = sep,
url = {https://muted-color.github.io/research/2026/09/01/selected-preference-pairs-helped-earlier-not-uniformly/ko/}
}