AI 학습은 모델을 만들거나 업데이트하는 과정이고, 추론은 이미 학습된 모델을 사용해 새로운 입력에 응답하는 과정입니다. 이 차이는 AI 제품을 계획하는 팀에 중요합니다. 학습과 추론은 필요한 데이터, 인프라 요구 사항, 비용 요인, 운영상 위험이 서로 다르기 때문입니다.
이 가이드는 수학적 세부 사항에 파묻히지 않고 AI 학습과 추론의 차이를 실무적으로 이해해야 하는 비즈니스, 제품, 기술 분야 독자를 위해 작성되었습니다.
가중치 하나로 훈련과 추론 구분하기
예측값 = w × x인 장난감 모델에서 w = 1로 시작합니다. 언어 모델이나 실제 서비스 실험이 아니라 스칼라 계산입니다. 훈련 쌍 x = 2, 정답 y = 6에 제곱 손실 L = (w × x − y)²를 적용하고 학습률 0.1로 경사 하강을 한 번 수행합니다.
| 단계 | 계산 | 단계 후 가중치 |
|---|---|---|
| 1 | 1 × 3 = 3 | 1 |
| 2 | 1 × 2 = 2; (2 − 6)² = 16 | 1 |
| 3 | 1 − 0.1 × (−16) = 2.6 | 2.6 |
| 4 | 2.6 × 3 = 7.8 | 2.6 |
| 5 | 2.6 × 4 = 10.4 | 2.6 |
1단계는 x = 3에 대한 추론입니다. 2단계에서는 훈련 손실을 계산하지만 아직 가중치를 갱신하지 않습니다. 미분값은 2 × x × (w × x − y) = −16입니다. 3단계가 w를 2.6으로 바꾸는 훈련입니다. 4·5단계는 입력이 다른 추론이며 출력이 달라도 가중치는 2.6으로 유지됩니다. 갱신 후 훈련 손실은 (2.6 × 2 − 6)² = 0.64입니다.
이 한 단계로 일반화 성능이나 실제 모델에 적절한 학습률을 증명할 수는 없습니다. 대화 기록 저장, 문서 검색, 프롬프트 변경은 이런 매개변수 갱신 없이도 애플리케이션에 영향을 줍니다. 기록은 나중에 별도의 훈련에 쓰일 수 있지만 서비스·설정에 따라 다릅니다. 출력 변화만으로 훈련이 일어났다고 판단하지 마세요.
Python 3으로 재현하기
표준 라이브러리만 사용하는 코드이며 네트워크나 모델을 호출하지 않습니다. 언어별로 같은 실습 라벨을 사용합니다.
from decimal import Decimal, ROUND_HALF_UP
def training():
w = Decimal('1')
print(f'before_prediction={w * 3}')
x, y, rate = Decimal('2'), Decimal('6'), Decimal('0.1')
print(f'loss_before={(w*x-y)**2}')
gradient = 2*x*(w*x-y)
w = w - rate*gradient
print(f'gradient={gradient} weight_after={w}')
print(f'loss_after={(w*x-y)**2:.2f}')
print(f'inference_x3={w*3} inference_x4={w*4} unchanged_weight={w}')
training()
계산 스크립트 실행 결과
before_prediction=3
loss_before=16
gradient=-16 weight_after=2.6
loss_after=0.64
inference_x3=7.8 inference_x4=10.4 unchanged_weight=2.6
AI 학습이란 무엇인가?
AI 학습은 모델 수명주기의 학습 단계입니다. 학습 중에는 모델에 데이터를 제공해 이미지 분류, 위험 추정, 항목 추천, 텍스트 생성처럼 특정 작업에 유용한 패턴을 익히게 합니다.
실무적으로 학습에는 보통 다음 과정이 포함됩니다.
- 데이터셋을 수집하거나 준비하기
- 예시를 모델에 입력하기
- 모델의 출력과 원하는 동작 또는 학습 목표를 비교하기
- 모델의 내부 매개변수를 조정하기
- 모델이 의도한 용도에 충분한 성능을 내는지 평가하기
핵심은 학습이 모델을 바꾼다는 점입니다. 모델이 학습한 매개변수가 업데이트되어, 이후 출력에 학습 데이터에서 배운 내용이 반영됩니다.
학습은 특히 대형 모델에서 많은 데이터와 연산 자원을 요구하는 경우가 많습니다. 다만 정확한 비용과 연산 특성은 모델 크기, 학습 방법, 하드웨어, 데이터 규모, 엔지니어링 선택에 따라 달라집니다. 작은 분류 모델과 큰 생성형 모델은 학습 요구 사항이 매우 다를 수 있습니다.
AI 추론이란 무엇인가?
AI 추론은 사용하는 단계입니다. 학습된 모델이 새로운 입력을 받아 예측, 분류, 추천, 순위 지정, 생성된 응답 같은 출력을 만들어 냅니다.
IBM은 AI 추론을 학습 과정에서 익힌 패턴을 새로운 입력에 적용하는 것으로 설명합니다. 이는 핵심적인 차이를 잘 보여 줍니다. 모델이 요청마다 처음부터 배우는 것이 아니라 이미 배운 것을 사용한다는 뜻입니다. 이러한 수명주기 관점은 IBM의 AI 추론 설명에서 확인할 수 있습니다.
추론의 예는 다음과 같습니다.
- 챗봇이 사용자의 질문에 대한 답을 생성하는 경우
- 사기 탐지 모델이 새로운 거래에 점수를 매기는 경우
- 이미지 분류기가 새 사진에 라벨을 붙이는 경우
- 추천 시스템이 쇼핑객에게 보여 줄 상품의 순위를 매기는 경우
- 검색 모델이 쿼리에 대한 결과 순서를 정하는 경우
대부분의 운영 시스템에서 추론 요청은 모델의 가중치를 업데이트하지 않습니다. 시스템이 요청을 기록하거나, 피드백을 저장하거나, 문맥을 가져오거나, 출력을 비즈니스 규칙에 따라 처리할 수는 있지만, 그런 작업이 모델을 학습시키는 것과 같지는 않습니다.
학습과 추론 비교표
| 차원 | AI 학습 | AI 추론 |
|---|---|---|
| 주요 목적 | 모델을 가르치거나 업데이트 | 학습된 모델을 사용해 출력 생성 |
| 일반적인 입력 | 학습 데이터, 레이블 또는 목표, 평가 데이터 | 새 프롬프트, 레코드, 이미지, 거래, 쿼리 또는 기타 입력 |
| 일반적인 출력 | 학습되었거나 업데이트된 모델 | 예측, 분류, 추천, 순위 또는 생성된 응답 |
| 모델을 바꾸는가? | 예. 학습은 모델 매개변수를 업데이트함 | 보통은 아님. 추론은 기존 모델을 적용함 |
| 시점 | 주기적, 예약된 실행, 실험적 실행 또는 모델 업데이트에 따라 트리거 | 애플리케이션에 따라 요청 시, 일괄 처리 또는 사전 계산 |
| 컴퓨팅 특성 | 특히 대형 모델이나 대규모 데이터세트에서는 대체로 더 무거움 | 대체로 지연 시간, 처리량, 가용성, 출력당 비용에 맞춰 최적화됨 |
| 비용 요인 | 데이터 준비, 학습 컴퓨팅, 실험, 평가 | 요청량, 서빙 하드웨어, 배치 처리, 지연 시간 목표, 가동 시간 요구사항 |
| 주요 엔지니어링 관심사 | 유용한 패턴을 학습하고 성능을 검증하는 것 | 신뢰할 수 있는 출력을 빠르고 경제적으로 제공하는 것 |
| 예 | 과거 사기 사례로 모델을 학습시키기 | 새 카드 거래의 사기 위험을 점수화하기 |
이 표는 보편적인 비용 법칙이 아니라 일반적인 양상을 설명합니다. 요청량이 매우 많은 초대형 모델의 추론은 비용이 많이 들 수 있고, 작은 모델의 학습은 상대적으로 부담이 작을 수 있습니다. 유용한 구분은 단순히 비싼가 싼가가 아니라, 해당 워크플로가 모델을 업데이트하는지 아니면 모델을 사용하는지입니다.
어느 단계인지 실무적으로 구분하는 방법
AI 워크플로를 검토할 때는 세 가지 질문을 해보십시오.
- 입력은 무엇인가요? 입력이 모델의 동작을 개선하는 데 쓰이는 데이터세트라면 학습이나 파인튜닝일 수 있습니다. 입력이 사용자 요청이나 새로운 비즈니스 레코드라면 추론일 가능성이 큽니다.
- 그다음 무엇이 바뀌나요? 모델 매개변수가 업데이트된다면 그 워크플로는 학습과 관련이 있습니다. 모델은 그대로이고 출력만 반환한다면 추론입니다.
- 성공 기준은 무엇인가요? 학습은 그 결과로 나온 모델의 성능이 더 좋아졌는지, 또는 평가 기준을 충족하는지로 판단합니다. 추론은 각 출력이 애플리케이션에 대해 유용하고, 제때 제공되며, 신뢰할 수 있고, 비용 효율적인지로 판단합니다.
간단한 가상의 예를 들어보겠습니다.
한 은행이 수년간 축적한 레이블이 붙은 거래 데이터를 사용해 사기 탐지 모델을 만듭니다. 이것은 학습입니다. 이후 고객이 새로 구매를 하고 모델이 그 거래에 점수를 매기면 이것은 추론입니다. 은행이 나중에 새로 검토한 사기 사례를 사용해 모델을 업데이트한다면, 그 업데이트는 일반적인 추론이 아니라 학습 또는 파인튜닝입니다.
파인튜닝은 어디에 해당하는가
파인튜닝은 추론보다는 학습에 더 가깝습니다. 기존 모델을 출발점으로 삼아 더 좁은 과제, 도메인 또는 스타일에 맞게 추가로 학습시키기 때문입니다. 파인튜닝은 추가 학습을 통해 모델 동작을 수정하므로, 모델에 단순히 프롬프트를 보내는 것과는 다릅니다.
생성형 AI 애플리케이션에서는 이 구분이 흐려지기 쉽습니다. 팀은 프롬프트를 바꾸거나, 지식 베이스에서 검색을 추가하거나, 모델을 파인튜닝해 AI 어시스턴트를 개선할 수 있습니다. 그러나 이들은 같은 일이 아닙니다.
- 프롬프팅은 추론 중에 전달되는 지시나 맥락을 바꿉니다.
- 검색 증강 워크플로는 추론 시점에 추가 정보를 제공할 수 있습니다.
- 파인튜닝은 추가 학습을 통해 모델을 바꿉니다.
- 추론은 사용할 수 있는 모델과 문맥을 활용해 출력을 만들어 냅니다.
실무적으로는 모델 자체가 새로운 패턴을 내재화해야 한다면 파인튜닝이나 학습이 관련될 수 있습니다. 현재 문맥을 바탕으로 답하게 하거나 더 나은 지시를 따르게 하는 정도라면 추론 시점의 변경만으로도 충분할 수 있습니다.
정적 추론과 동적 추론
추론은 여러 방식으로 제공될 수 있습니다. Google의 Machine Learning Crash Course는 프로덕션 ML 시스템에서 정적 추론과 동적 추론을 구분하면서, 사용 사례에 따라 추론을 미리 계산해 둘 수도 있고 요청이 들어올 때 수행할 수도 있다고 설명합니다. 이러한 프로덕션 제공 방식의 차이는 Google의 정적 추론과 동적 추론 가이드에서 확인할 수 있습니다.
정적 추론
정적 추론은 출력을 미리 생성해 두었다가 나중에 사용하도록 저장하는 방식입니다. 입력이 계속 바뀌지 않거나 애플리케이션이 덜 잦은 업데이트를 감수할 수 있을 때 쓸 수 있습니다.
가상의 예를 들면, 온라인 상점은 알려진 고객을 대상으로 상품 추천을 주기적으로 생성해 캐시해 둘 수 있습니다. 고객이 방문하면 시스템은 미리 계산된 추천을 제공합니다.
절충점은 최신성입니다. 미리 계산한 출력은 빠르게 제공할 수 있지만, 시스템이 자주 다시 계산하지 않는 한 사용자의 가장 최근 행동이나 재고 변화를 반영하지 못할 수 있습니다.
동적 추론
동적 추론은 요청이 도착했을 때 모델을 실행하는 방식입니다. 입력을 예측하기 어렵거나 개인화되어 있거나 시간에 민감한 경우에 흔히 사용됩니다.
가상의 예를 들면, 챗봇은 사용자의 질문을 받아 요청 시점에 응답을 생성합니다. 사용자가 정확히 어떤 입력을 보낼지 미리 알 수 없기 때문에 시스템이 답변을 완전히 사전 계산할 수는 없습니다.
절충점은 운영 부담입니다. 동적 추론은 지연 시간, 처리량, 가용성, 요청당 비용을 세심하게 관리해야 하는 경우가 많습니다.
실무에서 보는 학습과 추론의 예
이미지 분류
학습: 모델은 서로 다른 상품 범주나 시각적 결함의 예처럼 레이블이 붙은 많은 이미지에서 배웁니다.
추론: 새 이미지가 제출되면 학습된 모델이 범주를 예측하거나 결함 가능성을 표시합니다.
사기 탐지
학습: 모델은 과거 거래와 알려진 결과에서 배웁니다.
추론: 새 거래를 평가하고 모델이 위험 점수나 분류 결과를 생성합니다.
검색 순위 지정
학습: 순위 모델은 과거 검색, 관련성, 참여 데이터에서 배웁니다.
추론: 사용자가 쿼리를 입력하면 모델은 해당 쿼리에 맞게 결과 순서를 정하는 데 도움을 줍니다.
챗봇과 생성형 AI
학습: 기본 모델을 대규모 데이터셋으로 학습시키거나, 기존 모델을 특정 도메인에 맞게 파인튜닝합니다.
추론: 사용자가 프롬프트를 보내면 모델이 응답을 생성합니다. 응답은 프롬프트나 검색해 온 문맥의 영향을 받을 수 있지만, 일반적으로 그 한 번의 대화 중에는 모델의 가중치가 바뀌지 않습니다.
인프라와 비용 측면의 영향
학습과 추론에는 서로 다른 엔지니어링 계획이 필요한 경우가 많습니다.
학습 인프라는 보통 데이터 파이프라인, 실험 추적, 평가, 모델 업데이트에 필요한 컴퓨팅 자원을 이용할 수 있는 환경을 중심으로 구성됩니다. 작업은 집중적으로 반복될 수 있습니다. 팀은 모델이 기준을 충족할 때까지 학습하고, 평가하고, 조정한 뒤 다시 학습합니다.
추론 인프라는 서빙을 중심으로 구축됩니다. 시스템은 입력을 받고, 모델을 실행하거나 미리 계산된 출력을 가져오며, 결과를 반환하고, 동작을 모니터링하며, 장애를 처리해야 합니다. 운영 환경의 추론은 일반적으로 지연 시간, 처리량, 가용성, 출력당 비용에 맞춰 최적화됩니다.
이러한 차이는 계획에도 영향을 미칩니다.
- 모델을 학습시키는 팀에는 신뢰할 수 있는 모델을 만들 만큼 충분한 데이터 품질, 엄격한 평가 체계, 컴퓨팅 용량이 필요합니다.
- 추론을 배포하는 팀에는 서빙 아키텍처, 모니터링, 확장, 운영 통제가 필요합니다.
- 두 가지를 모두 수행하는 팀에는 새 데이터, 평가, 모델 업데이트, 운영 서빙이 어떻게 연결되는지에 대한 생애주기 계획이 필요합니다.
비용 비교는 맥락에 따라 달라집니다. 학습은 상당한 컴퓨팅 자원과 반복적인 실험이 필요할 수 있어 비용이 많이 드는 경우가 많습니다. 요청량이 많거나 지연 시간 요건이 엄격하거나 모델이 큰 경우에는 추론도 큰 지속 비용이 될 수 있습니다. 비용은 구호가 아니라 아키텍처의 문제로 다뤄야 합니다.
흔한 오해
오해 1: AI가 응답할 때마다 모델이 무언가를 학습한다
대부분의 운영 추론은 모델을 업데이트하지 않습니다. 시스템이 나중에 학습에 사용할 수 있는 로그나 피드백을 저장할 수는 있지만, 개별 응답은 대개 기존 모델을 적용해 생성됩니다.
오해 2: 프롬프팅은 학습과 같다
프롬프팅은 특정 요청에 대한 출력을 바꿀 수 있지만, 그 자체로 모델이 학습한 매개변수를 업데이트하지는 않습니다. 모델을 수정하는 활동은 파인튜닝과 학습입니다.
오해 3: 추론은 언제나 저렴하다
단일 요청 기준으로 보면 추론은 학습보다 가벼운 경우가 많지만, 전체 추론 비용은 트래픽 규모, 모델 크기, 하드웨어, 배치 처리 전략, 배포 아키텍처에 따라 달라집니다. 사용량이 많은 AI 제품은 추론에 상당한 자원을 쓸 수 있습니다.
오해 4: 학습은 한 번만 하고 추론은 영원히 계속된다
어떤 모델은 한 번 학습된 뒤 오랫동안 사용됩니다. 다른 모델은 데이터가 변하거나 사용 사례가 발전하거나 성능 요구가 높아짐에 따라 재학습되거나 파인튜닝됩니다. 수명주기는 애플리케이션과 오래된 동작을 어느 정도까지 허용할 수 있는지에 따라 달라집니다.
핵심 요점
AI 학습과 추론은 서로 연결되어 있지만 구별되는 단계입니다.
- 학습은 데이터에서 배워 모델을 만들거나 업데이트합니다.
- 추론은 이미 학습된 모델을 새 입력에 적용합니다.
- 파인튜닝은 모델을 바꾸기 때문에 학습과 관련된 작업입니다.
- 정적 추론은 출력을 미리 계산하고, 동적 추론은 필요할 때 모델을 실행합니다.
- 학습 계획은 데이터, 학습, 평가, 모델 업데이트에 초점을 둡니다.
- 추론 계획은 운영 서빙, 지연 시간, 신뢰성, 규모, 출력당 비용에 초점을 둡니다.
워크플로가 모델을 바꾼다면 학습이나 파인튜닝으로 봐야 합니다. 모델을 사용해 새 입력에 대한 답변, 점수, 추천, 분류를 만들어낸다면 추론으로 봐야 합니다. 이 간단한 기준은 팀이 아키텍처, 예산, 모니터링, 책임 소재에 대해 더 명확하게 결정하는 데 도움이 됩니다.
