다시 살펴볼 만한 이야기
VIVA PARADOX.복잡한 이야기를 명확하게.
Viva Paradox · KO

AI 모델 증류란 무엇인가: AI 팀을 위한 실무 가이드

Conceptual editorial artwork: AI 모델 증류란 무엇인가: AI 팀을 위한 실무 가이드

AI 모델 증류는 더 크거나, 성능이 더 높거나, 비용이 더 많이 드는 모델의 유용한 동작을 더 작거나 효율적인 모델이 모방하도록 훈련하는 방법입니다. 일반적으로 큰 모델은 교사, 작은 모델은 학생이라고 부릅니다.

프로덕션 환경에서 AI 모델 증류가 무엇인지 묻는 팀에게 짧게 답하면, 이는 압축과 특화 전략입니다. 모든 요청마다 큰 모델을 실행하는 대신, 팀은 큰 모델로 훈련 신호를 생성한 뒤 더 좁고 반복 가능한 작업을 처리하도록 작은 모델을 훈련할 수 있습니다. 목표는 대개 지연 시간 단축, 운영 비용 절감, 더 쉬운 배포, 또는 더 예측 가능한 동작입니다. 이런 이점이 자동으로 따라오는 것은 아니며 작업, 훈련 데이터, 평가 방법, 인프라에 따라 달라집니다.

교사/학생이라는 틀은 기초 논문인 Distilling the Knowledge in a Neural Network에서 비롯되었으며, 이 논문은 교사의 출력을 훈련 정보로 사용해 큰 모델이나 앙상블의 지식을 작은 모델로 이전하는 방법을 설명합니다. 최근의 플랫폼 사례들도 작업별 설정에서 같은 기본 개념을 사용합니다. 예를 들어 API에서의 모델 증류에 대한 OpenAI 설명은 큰 모델의 출력을 사용해 작은 모델을 파인튜닝한다고 설명하고, Microsoft의 AzureML 예제는 구현에 특화된 교사/학생 워크플로를 보여줍니다.

교사와 얼마나 같은지가 아니라 기준 답과 비교하기

다음 여섯 사례와 두 출력 열은 직접 만든 교육용 자료이며 실제 모델 응답이 아닙니다. Billing은 청구, Access는 계정 접근, Cancel은 해지를 뜻합니다. ID 순서의 요청은 중복 결제, 비밀번호 재설정 링크 만료, 이용 기간 종료 후 해지, 청구서 요청, 재설정 후 로그인 차단, 자동 갱신 중단입니다. 이 실습 규칙에서는 각각 표의 기준 분류를 정답으로 둡니다.

사례 기준 분류 교사: 가상 출력 학생: 가상 출력
D1 Billing Billing Billing
D2 Access Access Access
D3 Cancel Cancel Billing
D4 Billing Billing Billing
D5 Access Billing Billing
D6 Cancel Cancel Cancel

교사와 학생의 일치율은 5/6입니다. 기준 답에 대한 교사의 정답 수는 5/6, 학생은 4/6입니다. D5에서는 둘 다 계정 접근 문제를 청구 문제로 잘못 분류합니다. 서로 일치해도 정답은 아닙니다. D3에서는 교사는 맞지만 학생이 틀립니다. 일치율 하나로는 이 두 문제를 구분할 수 없습니다.

여기서는 실제 학생 모델을 훈련하지 않았으며 이 비율은 어떤 제품의 성능 추정치도 아닙니다. 실제 티켓에는 분류 우선순위와 모호한 요청의 처리 규칙을 먼저 정하세요. 별도의 평가 세트를 프롬프트·훈련 데이터와 분리하고 원시 응답, 형식 오류, 판단 보류, 지연 시간, 비용을 나눠 기록하세요. 기준 답에 이견이 있으면 규칙을 정리하거나 검토 대상으로 남겨야 합니다.

Python 3으로 재현하기

표준 라이브러리만 사용하는 코드이며 네트워크나 모델을 호출하지 않습니다. 언어별로 같은 실습 라벨을 사용합니다.

def distillation():
    reference = ['Billing','Access','Cancel','Billing','Access','Cancel']
    teacher = ['Billing','Access','Cancel','Billing','Billing','Cancel']
    student = ['Billing','Access','Billing','Billing','Billing','Cancel']
    def matches(a, b):
        return sum(x == y for x, y in zip(a, b))
    print(f'agreement={matches(teacher, student)}/6')
    print(f'teacher_reference={matches(teacher, reference)}/6')
    print(f'student_reference={matches(student, reference)}/6')

distillation()

계산 스크립트 실행 결과

agreement=5/6
teacher_reference=5/6
student_reference=4/6

팀이 모델 증류를 사용하는 이유

증류는 큰 모델이 어떤 작업에서 좋은 성능을 내지만, 그 모델을 프로덕션에서 직접 사용하는 것이 이상적이지 않을 때 가장 유용합니다.

일반적인 동기는 다음과 같습니다.

  • 서빙 비용 절감: 배포 환경과 워크로드에 따라 더 작은 학생 모델은 교사 모델보다 실행 비용이 낮을 수 있습니다.
  • 지연 시간 단축: 특히 대량 처리나 실시간 작업에서는 더 작은 모델이 때때로 더 빠르게 결과를 반환할 수 있습니다.
  • 배포 단순화: 작은 모델은 제약이 있는 인프라에서 호스팅하기가 더 쉬울 수 있습니다.
  • 작업별 동작: 학생 모델은 더 좁은 범위의 입력, 레이블, 응답 형식에 집중하도록 훈련할 수 있습니다.
  • 운영상의 일관성: 반복적인 작업에서는 증류된 모델이 큰 모델을 반복 호출해야만 했던 동작을 표준화하는 데 도움이 될 수 있습니다.

중요한 단서는 ‘그럴 수 있다’는 점입니다. 증류가 학생 모델이 교사 모델과 일치한다고 보장하지는 않습니다. 이는 공학적 절충입니다. 팀은 효율성이나 특화를 얻는 대신 어느 정도의 범용성과 잠재적으로 일부 품질을 포기합니다.

모델 증류의 작동 방식

일반적인 모델 증류 워크플로는 다섯 단계로 이루어집니다.

1. 교사 모델 선택

교사는 보통 더 큰 모델, 앙상블, 또는 목표 작업에서 좋은 성능을 내는 모델입니다. 교사가 완벽할 필요는 없지만, 그 동작은 훈련 신호로 삼기에 충분히 좋아야 합니다.

2. 작업과 성공 기준 정의

증류는 작업이 안정적이고 측정 가능할 때 가장 잘 작동합니다. 예로는 고객지원 티켓 분류, 알려진 문서 유형에서 필드 추출, 소수의 선택지 순위 매기기, 고정된 형식의 구조화된 응답 생성 등이 있습니다.

학생 모델을 훈련하기 전에 좋은 성능이 무엇을 의미하는지 정의해야 합니다. 여기에는 사람이 레이블을 붙인 예시 대비 정확도, 형식 유효성, 거부 동작, 지연 시간, 비용, 또는 엣지 케이스에서의 성능이 포함될 수 있습니다.

3. 교사 출력 생성

교사 모델을 작업 예시에 실행합니다. 그 출력은 학생 모델의 훈련 데이터가 됩니다. 설정에 따라 훈련 신호에는 레이블, 확률 분포, 구조화된 응답, 설명, 또는 선호되는 완성 결과가 포함될 수 있습니다.

원래의 증류 논문은 모델이 단순한 하드 레이블만이 아니라 더 풍부한 교사 출력에서도 학습할 수 있다는 점을 강조했습니다. 현대 LLM 워크플로에서는 이와 같은 큰 틀이 더 큰 모델로 고품질 예시를 생성하고, 이를 사용해 더 작은 모델을 파인튜닝하는 방식으로 자주 나타납니다.

4. 학생 모델을 학습하거나 파인튜닝하기

더 작은 모델은 해당 작업에서 원하는 교사 모델의 동작을 재현하도록 학습됩니다. 어떤 환경에서는 교사가 생성한 예시를 사용하는 일반적인 지도 파인튜닝이 됩니다. 다른 경우에는 소프트 확률 목표나 작업별 학습 신호를 사용할 수 있습니다.

5. 학생 모델을 독립적으로 평가하기

학생 모델은 교사 모델이 만든 훈련용 출력에만 맞춰 평가하지 말고, 의미 있는 벤치마크로 테스트해야 합니다. 좋은 평가 세트에는 일반 사례, 엣지 케이스, 가능할 경우 사람이 레이블을 붙인 정답 데이터, 안전성 점검, 교사가 잘못 처리했을 수 있는 예시가 포함되어야 합니다.

예시로 살펴보는 사례: 고객 지원 티켓 라우팅

다음은 가상의 예시입니다. 벤치마크나 측정된 결과가 아니며, 특정 공급업체에 관한 주장도 아닙니다.

한 회사가 대형 AI 모델을 사용해 들어오는 지원 티켓을 다음 네 개 큐로 분류한다고 가정해 보겠습니다.

  • 청구
  • 기술 지원
  • 계정 접근
  • 해지 및 고객 유지

대형 모델의 성능은 좋지만, 이 회사는 매일 비슷한 티켓을 많이 받습니다. 모든 티켓에 교사 모델을 실행하는 것은 팀이 원하는 것보다 비용이 더 많이 들거나 속도가 더 느릴 수 있습니다. 그래서 팀은 이 작업을 더 작은 학생 모델로 증류하는 방안을 검토합니다.

샘플 입력

고객 메시지:

월간 요금제가 두 번 청구되었습니다. 중복 결제된 금액을 환불해 주실 수 있나요?

기대되는 교사 모델의 동작

이 메시지는 중복 청구와 환불 요청에 관한 것이므로 교사 모델은 해당 티켓을 청구로 분류해야 합니다.

학습에 사용되는 교사 출력은 다음과 같은 형태일 수 있습니다.

  • 레이블: 청구
  • 근거: 고객이 두 번 청구되었다고 보고하고 환불을 요청합니다.
  • 신뢰도에 준하는 신호: 구현이 지원한다면 높음

학생 모델의 학습 목표

학생 모델은 비슷한 티켓 텍스트를 청구 큐에 매핑하도록 학습됩니다. 근거 설명을 포함한다면 팀은 학생 모델이 짧은 설명을 생성하도록 함께 학습시킬 수도 있습니다. 다만 이는 운영 환경에서 설명이 필요한 경우에만 해당합니다.

평가 기준

팀은 학생 모델이 다음을 충족하는지 점검해야 합니다.

  • 일반적인 티켓을 신뢰할 수 있는 레이블이나 교사 모델과 같은 큐로 라우팅하는지.
  • 청구 분쟁도 언급하는 해지 요청처럼 모호한 메시지를 처리하는지.
  • 요구된 형식에 맞는 유효한 출력을 생성하는지.
  • 레이블이 잘못되었거나 불명확한 예시에서 교사의 실수를 그대로 따라 하지 않는지.
  • 실제 운영 환경에서 지연 시간과 비용 목표를 충족하는지.

한계

학습 데이터가 대부분 단순한 청구 예시로 구성되어 있다면 학생 모델은 엣지 케이스에서 실패할 수 있습니다. 예를 들어 “내일 갱신되기 전에 해지하려고 하는데 로그인할 수 없습니다”와 같은 메시지에는 계정 접근, 해지, 청구의 긴급성이 함께 들어 있습니다. 좁은 예시로 학습한 학생 모델은 교사 모델이라면 잘 처리했을 경우에도 이를 잘못 라우팅할 수 있습니다.

이것이 증류의 핵심 위험입니다. 학생 모델은 자신이 본 것에서 학습합니다. 증류 데이터셋이 중요한 사례를 놓치면 더 작은 모델은 일상적인 테스트에서는 좋아 보이지만 운영 환경에서는 실패할 수 있습니다.

모델 증류, RAG, 파인튜닝 비교

모델 증류는 검색 증강 생성(RAG) 및 파인튜닝과 자주 혼동됩니다. 서로 관련될 수는 있지만, 해결하는 문제는 다릅니다.

기법 무엇이 달라지나? 언제 도움이 되나 주요 한계
모델 증류 교사 모델의 작업 수행 방식을 모방하도록 학생 모델을 훈련하거나 조정합니다 안정적인 작업에 더 작거나 효율적인 모델이 필요할 때 학생 모델의 품질이 낮아지거나 교사 모델의 오류를 물려받거나, 포함되지 않은 엣지 케이스에서 실패할 수 있습니다
파인튜닝 작업별 학습 데이터로 모델을 업데이트합니다 모델이 패턴, 레이블 체계, 어조 또는 출력 형식을 따르도록 해야 할 때 품질은 학습 데이터와 평가에 크게 좌우됩니다
RAG 추론 시점에 외부 정보를 검색해 맥락으로 제공합니다 모델에 내장하지 않고도 최신 정보, 출처에 근거한 정보 또는 비공개 정보가 필요할 때 검색 품질과 맥락 선택이 결과를 제한할 수 있습니다

증류에는 파인튜닝이 포함될 수 있습니다. 예를 들어 OpenAI는 API 모델 증류를 설명하면서, 더 큰 모델의 출력을 사용해 더 작은 모델을 작업별 동작에 맞게 파인튜닝하는 방식으로 제시합니다. RAG는 다릅니다. 일반적으로 교사 모델을 학생 모델로 압축하지 않습니다. 대신 요청 시점에 관련 정보를 검색하고, 그 맥락을 바탕으로 모델의 응답이 생성되도록 합니다.

판단 기준은 이렇습니다. 문제가 모델이 필요한 정보에 접근하지 못하는 데 있다면 RAG를 고려합니다. 큰 모델의 동작은 유용하지만 반복 가능한 작업에 쓰기에는 비용이 너무 높거나 운용이 번거로운 것이 문제라면 증류를 고려합니다.

모델 증류가 좋은 선택인 경우

다음 조건이 모두 또는 대부분 충족될 때 증류를 사용합니다.

  • 작업이 안정적입니다. 입력, 레이블, 정책 또는 출력 형식이 계속 바뀌지 않습니다.
  • 작업이 반복적입니다. 학생 모델을 만들고 평가할 만한 충분한 처리량이 있습니다.
  • 성공 여부를 측정할 수 있습니다. 사람이 레이블을 붙인 데이터, 승인된 출력 또는 작업별 지표로 학생 모델을 평가할 수 있습니다.
  • 교사 모델이 충분히 강력합니다. 교사 모델의 출력이 학습 신호로 삼기에 충분히 좋습니다.
  • 엣지 케이스가 알려져 있습니다. 어려운 사례를 학습과 평가에 포함할 수 있습니다.
  • 효율성이 중요합니다. 더 작은 모델이 품질 기준을 통과하면 운영상 의미 있는 가치를 만들 수 있습니다.

실무적인 원칙은 이렇습니다. 더 작은 모델을 안정적이고 반복 가능한 작업에 대해 학습하고 테스트할 수 있으며 성공 기준을 측정할 수 있을 때 모델 증류를 사용합니다. 작업 범위가 넓거나 빠르게 변하거나 정의가 불분명하거나 평가하기 어렵다면 피해야 합니다.

모델 증류가 실패할 수 있는 경우

증류는 예측 가능한 방식으로 실패할 수 있습니다.

학생 모델이 교사 모델의 실수를 물려받습니다

교사 모델이 편향되었거나 부정확하거나 안전하지 않거나 불완전한 출력을 내면, 학생 모델이 그런 동작을 학습할 수 있습니다. 증류가 교사 모델의 동작을 자동으로 정리해 주지는 않습니다. 경우에 따라 더 작은 모델이 효율적이고 작업에 특화된 것처럼 보이기 때문에 문제를 알아차리기 더 어려워질 수 있습니다.

학습 세트가 엣지 케이스를 놓칩니다

증류된 모델은 일반적인 사례에서는 잘 작동해도 드물거나 복잡한 입력에서는 성능이 떨어질 수 있습니다. 이는 드문 사례도 중요한 규제 대상, 안전 민감형 또는 고위험 워크플로에서 특히 중요합니다.

학생 모델이 합성 패턴에 과적합됩니다

교사 모델이 생성한 데이터가 지나치게 획일적이면, 학생 모델은 근본적인 과제 대신 피상적인 패턴을 학습할 수 있습니다. 예를 들어 교사 모델의 표현 방식에는 잘 맞추지만, 실제 고객이 쓰는 언어를 처리하는 능력은 떨어질 수 있습니다.

과제에 폭넓은 추론이 필요한 경우

일부 과제는 광범위한 지식, 긴 문맥 추론, 유연한 문제 해결 능력에 의존합니다. 좁은 데이터셋으로 학습한 작은 학생 모델은 이러한 더 넓은 역량을 유지하지 못할 수 있습니다.

권리와 정책 문제가 해결되지 않은 경우

교사 모델의 출력을 사용해 다른 모델을 학습시키는 것은 라이선스, 계약, 법률 또는 정책상의 문제를 일으킬 수 있습니다. 답은 원천 모델, 데이터, 플랫폼 약관, 의도한 사용 방식에 따라 달라집니다. 팀은 증류 파이프라인을 구축하기 전에 권리와 허가 사항을 확인해야 합니다.

증류된 모델을 평가하는 방법

증류된 모델은 교사 모델의 더 저렴한 복사본이라고 가정해서는 안 되며, 별도의 프로덕션 후보로 평가해야 합니다.

유용한 평가 계획은 다음 세 가지를 비교합니다.

  1. 교사 모델의 출력.
  2. 학생 모델의 출력.
  3. 사용 가능한 경우, 사람이 레이블을 붙였거나 그 밖의 방식으로 신뢰할 수 있는 정답 데이터.

평가에는 다음 항목이 포함되어야 합니다.

  • 과제 품질: 과제에 따라 정확도, 정밀도와 재현율, 순위 품질 또는 형식의 정확성.
  • 엣지 케이스 성능: 모호하거나 드물거나 적대적이거나 정책상 민감한 입력.
  • 운영 성능: 실제 배포 환경에서의 지연 시간과 비용.
  • 안전성과 편향 점검: 교사 모델의 동작이 바람직하지 않거나 불완전할 수 있는 사례.
  • 회귀 테스트: 학생 모델을 다시 학습하더라도 계속 정상적으로 작동해야 하는 고정된 예시 집합.

가장 중요한 비교 기준은 학생 모델이 교사 모델처럼 들리는지가 아닙니다. 학생 모델이 해당 과제의 프로덕션 기준을 충족하는지가 핵심입니다.

핵심 정리

AI 모델 증류는 더 큰 교사 모델의 유용한 동작을 모방하도록 더 작은 학생 모델을 학습시키는 방법입니다. 큰 모델이 잘 작동하지만 모든 요청마다 실행하기에는 비용이 많이 들거나 느리거나 복잡한, 안정적이고 대량으로 처리되며 측정 가능한 과제에서 강력한 선택지가 될 수 있습니다.

동일한 성능을 보장하는 것은 아닙니다. 학생 모델은 역량을 잃거나 교사 모델의 오류를 물려받거나, 증류 데이터에 포함되지 않은 엣지 케이스에서 실패할 수 있습니다. 증류는 평가를 건너뛰는 지름길이 아니라 반드시 검증해야 하는 최적화 전략으로 다루어야 합니다.