지식 증류(knowledge distillation), 작은 LLM을 실전에 투입하는 법

지식 증류(knowledge distillation)는 작고 특화된 모델이 반복 업무를 처리할 수 있을 때 활용합니다. 학생 모델이 감당하지 못하는 요청은 최상위 모델에 맡깁니다. 이제는 어떤 모델을 선택하느냐만큼 학습 기능을 계속 사용할 수 있느냐도 중요합니다. OpenAI의 기존 파인튜닝 고객 중 이용 자격을 갖춘 고객도 2027년 1월 6일부터는 새 학습 작업을 만들 수 없습니다. 기반 모델이 먼저 종료되면 그보다 일찍 중단됩니다. OpenAI 지원 종료 일정

가장 적합한 대상은 입출력 규칙이 안정적으로 정해진 대규모 언어 모델(LLM) 기능입니다. 요청을 분류하거나, 특정 필드를 추출하거나, 처리 경로를 선택하거나, 정해진 형식으로 응답하는 작업이 여기에 해당합니다. 먼저 작은 모델이 별도 학습 없이도 해낼 수 있는지 시험합니다. 작은 기본 모델은 놓치지만 큰 모델은 처리하는 중요한 사례가 있고, 그 차이를 신뢰할 만한 학습 예제로 만들 수 있을 때 증류할 이유가 생깁니다.

제공업체 문서와 출력물의 학습 활용 약관은 2026년 10월 26일에 확인했습니다. 아래 내용은 운영용 API와 명시된 모델의 라이선스를 기준으로 합니다. 일반 사용자용 챗봇 구독이나 다른 호스팅 계약에는 별도의 규칙이 적용될 수 있습니다.

지식 증류(knowledge distillation)는 어떻게 작동하나요?

큰 교사 모델이 레이블이나 시범 답변을 만들면, 작은 학생 모델이 그 예제를 보고 작업 수행 방법을 학습합니다. 학습이 끝난 학생 모델은 매번 교사에게 묻지 않고도 일상적인 요청에 답할 수 있습니다. 지도 파인튜닝은 기존 모델에 입력 예제와 원하는 출력을 학습시키는 과정입니다. 관리형 증류 워크플로에서는 교사 모델이 이 출력을 제공할 수 있습니다. 공식 문서의 증류 워크플로

암벽등반 강사가 짧은 코스를 가르친다고 생각하면 이해하기 쉽습니다. 수강생은 그 코스에 필요한 동작을 연습할 뿐, 강사가 어떤 산이든 오를 수 있는 능력까지 물려받지는 않습니다. 실제 서비스에 투입하는 학생 모델도 마찬가지입니다. 환불 요청 분류를 배웠다고 해서 모든 작업에서 교사를 대신할 수 있는 것은 아닙니다.

예를 들어 고객 지원 메시지를 billing, technical, cancellation, needs_review로 분류하는 기능을 생각해 봅니다. 교사 모델이 대표적인 메시지를 읽고 레이블을 제안하면, 검토자가 모호한 사례를 정리합니다. 학생 모델은 승인된 메시지와 레이블 쌍으로 학습한 뒤, 정답을 독립적으로 확인해 둔 새로운 메시지로 평가받습니다.

마지막 단계가 중요한 이유는 교사와 같은 답을 내는 것과 정답을 내는 것이 다르기 때문입니다. 교사가 취소 요청을 결제 문의로 자주 오인한다면, 이를 충실하게 따라 하는 학생도 같은 오류를 이어받습니다.

출력 예제로 LLM 지식 증류하기

애플리케이션 개발자라면 대개 출력 기반 증류부터 시작하는 것이 현실적입니다. 입력과 품질 기준을 충족한 교사 응답을 저장하고, 그 쌍으로 학생을 학습시킵니다. 공식 문서에 설명된 이 방식에는 교사의 가중치, 즉 모델 내부에서 학습된 수치 매개변수에 접근할 필요가 없습니다. 대신 출력물을 재사용할 권한과 해당 작업을 지원하는 학생 모델 학습 경로가 필요합니다. OpenAI 지도 파인튜닝 가이드

증류는 텍스트를 따라 배우는 것보다 넓은 개념입니다. 기초 연구에서는 여러 모델로 구성된 앙상블의 지식을 배포하기 쉬운 단일 모델로 옮기는 방법도 다룹니다. 다만 범위가 좁은 서비스 기능에서는 교사의 모든 능력을 재현하느냐보다 학생이 필요한 판단을 배우느냐가 더 유용한 질문입니다. 신경망의 지식 증류에 관한 논문

이 기법들은 함께 사용할 수 있습니다. 학습 후 LLM 양자화를 적용하고 다시 평가할 수도 있습니다. RAG와 파인튜닝 비교에서는 응답 패턴을 학습하는 것만으로는 계속 바뀌는 회사 정보를 검색하는 과정을 대체할 수 없는 이유를 설명합니다.

지식 증류로 모델 경량화 효과를 볼 수 있는 조건은 무엇인가요?

증류가 특히 매력적인 경우는 작업 범위가 좁고 안정적이며, 비슷한 요청이 반복되고, 학생 모델을 운영했을 때 측정 가능한 제약이 개선되는 상황입니다. 요청량이 많으면 학습과 검토에 들인 노력을 더 많은 요청에 분산할 수 있습니다. 비용이 주된 문제가 아니더라도 응답 지연 요구사항 때문에 증류할 가치가 생길 수 있습니다.

익숙한 문서 유형에서 같은 필드를 반복 추출하는 문서 접수 서비스는 적절한 후보입니다. 반면 임의의 질문에 답하고, 낯선 툴을 다루며, 새로운 분야까지 넘나들며 추론해야 하는 어시스턴트의 업무 범위는 훨씬 넓습니다. 이런 어시스턴트 전체를 축소하는 일은 의도 분류기 하나를 특화하는 것보다 어려운 프로젝트입니다.

개발자라면: 데이터를 모으기 전에 입력, 출력, 실패 시 동작을 확정합니다. 청구서에 구매 주문 번호가 없다면 그럴듯한 번호를 추측하는 대신 null을 반환하는 것이 올바른 추출 결과일 수 있습니다. 학습 예제에도 이 차이가 담겨야 합니다.

운영자라면: 요청을 처리하는 전체 경로를 비교합니다. 재시도, 검증 실패, 사람의 검토, 교사에게 넘기는 요청, 지속적인 평가와 재학습까지 포함해야 합니다. 추론에 드는 자원이 줄어도 이런 부담이 이점을 상쇄한다면 의미가 없습니다. 증류가 이득이 되는 보편적인 요청량 기준은 없습니다.

도입을 결정하는 담당자라면: 필요한 교사 모델, 학생 모델, 학습 방식, 배포 위치를 함께 사용할 수 있는지 확인합니다. 두 모델을 일반 추론용으로 제공한다는 사실만으로 한 모델에서 다른 모델로 증류하는 기능까지 지원한다고 볼 수는 없습니다.

개인정보 보호를 위해 적절한 환경에 호스팅한 작은 학생 모델을 선택할 수는 있습니다. 하지만 작다고 해서 개인정보가 보호되는 것은 아닙니다. 원본 입력, 교사 호출, 학습 파일, 로그, 배포된 모델이 각각 어디에 존재하는지 추적해야 합니다. 학생 모델을 로컬에서 운영하더라도 데이터셋을 만드는 과정에서 이미 원격 교사에게 보낸 민감한 데이터를 되돌릴 수는 없습니다.

작업 정의가 자주 바뀌거나, 확보한 예제가 실제 요청을 대표하지 못하거나, 교사의 레이블을 신뢰할 수 없거나, 학습에 사용할 권한이 정리되지 않았다면 기다립니다. 별도 학습을 하지 않은 작은 모델이 이미 기준을 통과한다면 학습을 생략합니다. Google도 대상 작업에서 학생의 성능이 이미 교사에 근접해 있으면 증류로 얻는 개선 폭이 작아진다고 명시합니다. Google의 증류 활용 사례 안내

현재 이용 가능한 관리형 학습 경로

현재 지원하는 학습 방식과 지원 수명주기를 기준으로 관리형 경로를 고른 뒤, 해당 경로의 약관을 확인합니다. 아래 비교는 2026년 10월 26일에 확인한 문서를 기준으로 합니다.

OpenAI 모델 증류: 기존 사용자도 종료 일정을 확인해야 합니다

OpenAI 문서의 워크플로는 교사 프롬프트를 개선하고, 품질 기준에 맞는 응답을 수집해 데이터셋을 만든 다음, 작은 모델을 파인튜닝하는 방식입니다. 작동 원리를 이해하는 데는 여전히 유용합니다. 하지만 신규 도입을 위한 일반적인 권장 경로로 보기는 어렵습니다. 현재 가이드는 신규 사용자가 파인튜닝 플랫폼을 이용할 수 없다고 명시합니다. OpenAI 지도 파인튜닝

자격을 갖춘 활성 고객은 2027년 1월 6일까지만 작업을 만들 수 있으며, 모델이 먼저 종료되면 이보다 일찍 중단됩니다. GPT-4.1과 GPT-4.1 mini는 파인튜닝된 버전을 포함해 2027년 1월 14일에 종료됩니다. 문서에 명시된 GPT-4.1 nano와 o4-mini의 종료일은 2026년 10월 23일로 이미 지났습니다. 계정에 아직 접근 권한이 있더라도 이런 일정에 맞춰 장기적으로 사용할 새 시스템을 구축하기는 어렵습니다. OpenAI 지원 종료 안내

실무적인 판단은 명확합니다. 기존 사용자는 이전 계획을 세우고 평가 데이터를 보존해야 합니다. 새 프로젝트라면 과거의 증류 출시 발표를 근거로 설계하기보다 현재 이용 가능한 학습 경로를 선택해야 합니다.

Google Vertex AI: Gemini 튜닝과 공개 모델 증류를 구분합니다

Google Vertex AI의 생성형 모델 문서는 현재 Gemini Enterprise Agent Platform으로 연결됩니다. Gemini 튜닝 가이드는 레이블이 있는 예제로 학습하는 지도 파인튜닝을 설명하며, Gemini 3.5 Flash와 Gemini 3.5 Flash-Lite 등을 지원 목록에 포함합니다. 분류, 감성 분석, 개체 추출에 이 방식을 권장합니다. Google의 현재 튜닝 개요

Google은 GenAI SDK를 통한 관리형 공개 모델 증류도 별도로 문서화하고 있습니다. 교사 목록에는 DeepSeek R1 0528과 DeepSeek V3.2 등이, 학생 목록에는 Qwen 3 8B와 Gemma 3 4B IT 등이 포함됩니다. 공개 모델의 지도 튜닝에서는 전체 파인튜닝과 더 적은 매개변수를 업데이트하는 LoRA도 제공합니다. 이때의 모델 목록은 증류 지원 대상과 다릅니다. 공개 모델 튜닝 문서

실제 제약은 학습 방식, 모델, 위치의 조합에서 생깁니다. 학습용 할당량뿐 아니라 교사 추론용 할당량도 필요합니다. 글로벌 엔드포인트는 지원되는 리전을 선택하므로, 데이터가 특정 지역에 머물러야 한다면 리전을 명시적으로 설정해야 합니다. 단순한 분류 작업이라면 Google의 추론 중심 증류 경로를 선택하기 전에 작은 모델부터 시험합니다.

Amazon Bedrock 모델 증류: 정해진 모델 조합을 지원하는 관리형 워크플로

Amazon Bedrock Model Distillation은 교사 응답 생성, 데이터 합성, 학생 파인튜닝을 하나의 워크플로로 묶습니다. 프롬프트를 직접 제공하거나 Amazon Simple Storage Service(Amazon S3)에 저장된 기존 모델 호출 로그, 즉 이전 요청과 응답 기록을 사용할 수 있습니다. Bedrock은 별도의 맞춤화 방식으로 지도 파인튜닝과 강화 파인튜닝도 제공합니다. 증류 워크플로, 맞춤화 방식

현재 지원 조합 표에는 미국 동부(버지니아 북부)의 Amazon Nova Pro → Nova Lite 또는 Nova Micro, 미국 서부(오리건)의 Llama 조합 중 Meta Llama 3.3 70B → Llama 3.1 8B가 포함됩니다. 또한 Anthropic 모델의 증류는 현재 이용할 수 없다고 명시하며, 재개 일정도 확정되지 않았습니다. 지원 모델 조합과 리전

Bedrock의 데이터 준비 가이드에 따르면 제공할 수 있는 입력은 프롬프트 또는 프롬프트·응답 쌍 15K개까지입니다. 이는 작업당 상한이며, 해당 작업에 그만큼 많은 예제가 필요하다는 근거는 아닙니다. 실제 판단과 실패 사례를 충분히 포괄하도록 데이터를 고릅니다. 데이터셋 준비 한도

원하는 조합을 지원하고 배포 요구사항도 맞는다면 현실적인 경로입니다. 다만 원하는 교사를 원하는 학생과 자유롭게 연결하는 서비스는 아닙니다.

출력물을 소유한다고 학습에 써도 되는 것은 아닙니다

출력물을 다른 모델의 학습에 사용하기 전에, 그 데이터를 생성한 엔드포인트에 적용되는 계약을 확인합니다. 출력물의 소유권, 제공업체가 사용자 데이터로 학습하지 않겠다는 약속, 사용자가 학생 모델을 학습시킬 권리는 서로 다른 조항입니다.

아래 인용은 의도적으로 짧게 옮겼습니다. 인용문만큼 적용 범위도 중요합니다. 실제 사용을 규율하는 것은 서명한 계약, 주문서, 해당 제품 약관입니다.

OpenAI: 경쟁 모델 제한과 명시된 예외

OpenAI의 Services Agreement는 허용 예외(Permitted Exception)에 해당하지 않는 한, 출력물을 사용해 “OpenAI의 제품 및 서비스와 경쟁하는” 모델을 개발하는 행위를 제한합니다. 예외의 정의에는 주로 데이터를 범주화·분류·정리하기 위한 내부 모델이 포함됩니다. 단, 해당 모델을 제3자에게 배포하거나 상업적으로 제공하지 않아야 합니다. 지정된 OpenAI 서비스를 통해 제공되는 모델을 파인튜닝하거나 맞춤화하는 행위도 예외에 포함됩니다. Services Agreement의 제한 조항과 정의

따라서 내부 분류기는 고객에게 제공하는 범용 생성 모델과 실질적으로 다르게 취급됩니다. 모든 추출 기능, 호스팅형 분류기, 비공개 범용 모델이 예외에 들어간다고 가정해서는 안 됩니다. 계약 담당자가 실제 사용 목적이 예외에 해당하는지 확인해야 합니다.

시점도 구분해야 합니다. OpenAI는 이 글의 확인일보다 뒤인 2026년 11월 20일에 발효되는 정책 개정안을 게시했습니다. 개정안은 모델이나 출력물을 이용해 대체 모델을 위한 학습 신호를 제공하는 행위를 다루며, 여기에는 레이블, 피드백, 필터링도 포함됩니다. 동시에 적용 계약이 명시적으로 허용한 사용은 유지합니다. 확인일에 이미 적용 중인 규칙이 아니라, 앞으로 적용될 변경 사항으로 보아야 합니다. 게시된 Usage Policies 개정안

Anthropic: 경쟁 모델 학습에는 명시적 승인이 필요합니다

Anthropic의 Commercial Terms는 명시적인 승인을 받은 경우를 제외하고, 경쟁 제품이나 서비스를 만들기 위해 서비스에 접근하는 행위를 금지합니다. 여기에는 “경쟁하는 AI 모델을 학습시키는” 행위도 포함됩니다. 별도로 출력물에 대한 권리를 양도받더라도 이 제한이 사라지지는 않습니다. Anthropic Commercial Terms, D.4

따라서 Claude 출력물을 다른 모델의 학습 데이터로 쓰려면 해당 계약을 구체적으로 검토해야 합니다. 과거의 클라우드 증류 출시 발표만으로 현재 이용할 수 있거나 허용된다고 판단할 수는 없습니다.

Google: Cloud와 Gemini 개발자 API에는 서로 다른 계약이 적용됩니다

Google Cloud의 모델 제한 조항은 서비스 출력물을 사용해 “Google 모델의 사용을 대체하거나, 대신하거나, 우회하는” 행위 또는 “Google 모델과 유사한 모델을 만들거나 개선하는” 행위를 금지합니다. 서비스가 파인튜닝이나 증류를 제공하는 경우에는 명시적인 예외가 적용됩니다. 해당 출력물을 사용해 수정된 Google 모델(Modified Google Models)을 만들고, 사전 학습된 Google 모델(Google Pre-Trained Models) 대신 사용할 수 있습니다. 별도 서비스에는 별도 약관이 적용됩니다. Google Cloud 서비스별 약관

Gemini 개발자 API의 문구는 다릅니다. 서비스를 이용해 **“해당 서비스와 경쟁하는 모델을 개발”**해서는 안 된다고 규정합니다. 이 추가 약관은 Google Cloud Platform을 직접 사용하는 경우를 명시적으로 구분합니다. 관리형 Cloud 워크플로에서의 허용 범위를, 그와 무관한 Gemini API 데이터 생성 계획에 그대로 적용해서는 안 됩니다. Gemini API 추가 약관

Amazon: AI 서비스가 허용하는 경우에 예외가 적용됩니다

AWS Service Terms는 관련 제한 조항을 **“AI 서비스가 허용하는 경우를 제외하고”**라는 문구로 시작합니다. 그 외에는 **“AI 모델 또는 서비스를 학습시킬 명시적인 목적”**으로 콘텐츠를 생성하거나, 실질적으로 유사한 모델 또는 서비스를 개발하는 행위를 금지합니다. Bedrock에는 해당하는 제3자 모델 약관도 함께 적용됩니다. AWS Service Terms의 AI Services 및 Bedrock 조항

공식 문서에 명시된 관리형 워크플로와 지원 조합을 구체적인 검토 대상으로 삼습니다. 이런 기능이 있다는 이유만으로 모든 Bedrock 모델의 응답을 어떤 외부 학습 작업에든 내보내도 된다고 해석해서는 안 됩니다.

Meta Llama: 모델 이름과 재배포 조건도 확인합니다

Meta의 Llama 3.3 라이선스는 Llama 자료나 출력물을 사용해 다른 모델을 학습시키는 경우를 명시적으로 다룹니다. 그렇게 만든 모델을 배포하거나 제공할 때는 “해당 AI 모델 이름의 맨 앞에” Llama를 붙여야 합니다. 라이선스, 출처 표시, 그 밖에 적용되는 조건도 중요합니다. Llama 3.3 Community License

이는 특정 모델의 라이선스이며, 모든 Meta 모델이나 모든 호스팅 엔드포인트에 공통으로 적용되는 설명이 아닙니다. 정확한 릴리스와 호스팅 약관을 데이터셋과 함께 기록합니다.

Mistral AI: 텍스트 출력과 이미지 전용 제한을 구분합니다

Mistral AI의 현재 상업용 약관에서 출력물 사용을 제한하는 조항은 **“이미지 출력물”**을 이용해 “경쟁하는 이미지 생성 제품을 개발하거나 학습시키는” 행위를 명시합니다. 이미지에 한정된 조항이므로, 이를 텍스트를 활용한 학습 전반에 대한 금지로 설명하면 범위를 과장하게 됩니다. 같은 약관은 별도로 출력물을 이용한 Mistral AI 제품의 역공학을 금지하며, 추가 제품 약관이나 배포 조건이 적용될 수 있습니다. Mistral AI 상업용 약관

LLM 데이터셋을 만들 때는 적용 계약에 따라 텍스트 사용을 검토해야 합니다. 이미지용 제한을 그대로 적용해서도, 제한 없이 허용된다고 가정해서도 안 됩니다.

Grok: 기업용 출력물 학습에는 주문서의 예외 조항이 필요합니다

x.ai에 게시된 Grok의 기업용 약관은 주문서에서 명시적으로 허용한 경우가 아니라면 “어떠한 출력물이든 파운데이션 모델, 대규모 언어 모델 또는 기타 인공지능 시스템을 학습시키는 데 사용하는” 행위를 금지합니다. 해당 페이지는 계약상 제공업체를 SpaceXAI LLC로 명시하며, SpaceXSI라는 이름을 사용합니다. Grok 기업용 약관의 입력 및 출력 권리 조항

이 문구는 경쟁 모델에만 적용되는 제한보다 범위가 넓습니다. 학생 모델을 사내에서만 사용한다는 이유로 예외라고 가정해서는 안 됩니다.

DeepSeek-R1: 특정 릴리스의 증류를 명시적으로 허용합니다

DeepSeek-R1의 공식 저장소는 코드와 가중치에 MIT License를 적용한다고 밝히며, **“다른 LLM을 학습시키기 위한 증류”**를 명시적으로 허용합니다. 이미 증류된 릴리스에 대해서는 기반이 된 Qwen과 Llama의 라이선스도 명시합니다. DeepSeek-R1 라이선스 항목

특정 릴리스에 연결된 유용한 허용 근거입니다. 하지만 이후에 나올 모든 DeepSeek 모델이나 호스팅 서비스, 학생의 기반 모델에 적용될 조건까지 확정해 주지는 않습니다. 릴리스 기록에 교사의 사용 허가와 학생의 라이선스를 모두 보관합니다.

실제 서비스 트래픽을 넘기기 전에 평가합니다

학생 모델을 투입할 준비가 되었다고 판단하려면, 학습 때 보지 못한 실제 서비스와 유사한 입력에서 기능의 합격 기준을 충족하고 통제된 배포도 통과해야 합니다. 학습 중 측정하는 오류인 학습 손실이 줄어든다는 사실만으로는 어느 쪽도 입증할 수 없습니다.

아래는 권장 배포 절차이며, 벤치마크 결과를 보고하는 내용이 아닙니다.

1. 1

   작업 규칙과 기준 모델을 확정합니다

   입력 규칙, 허용되는 출력값, 필수 필드, 판단을 유보해야 할 때의 동작을 문서화합니다. 대표성 있는 표본에 대해 현재 교사의 결과와 프롬프트만 조정한 작은 모델의 기준 결과를 저장합니다. 학습된 학생의 점수를 보기 전에 허용할 품질과 응답 지연 기준을 정합니다.

2. 2

   학습·검증·최종 테스트 데이터를 분리합니다

   학습 데이터는 가중치 업데이트에, 검증 데이터는 프롬프트나 체크포인트 선택에 사용합니다. 최종 테스트 세트는 이런 선택이 끝날 때까지 사용하지 않습니다. 서로 관련된 고객 대화, 문서 템플릿, 거의 동일한 예제는 묶어서 분할해 복사본이 다른 세트로 새어 들어가지 않게 합니다. 최근 실제 트래픽, 드문 클래스, 어려운 예제도 포함합니다.

3. 3

   교사의 시범 데이터를 선별하고 검토합니다

   사용 권한을 확보한 교사 모델로 학습 입력에 레이블을 붙입니다. 형식을 검증하고 모호한 사례를 검토하며 중요한 오류를 바로잡습니다. 판단 유보나 누락값 반환이 정답인 예제도 보존합니다. 교사 모델, 프롬프트, 원본 데이터 사용 권한, 데이터셋 버전을 기록합니다. 이 데이터 준비 과정은 합성 데이터 생성 가이드에서 더 자세히 다룹니다.

4. 4

   교사를 닮았는지보다 실제 업무를 해냈는지 평가합니다

   분류에서는 클래스별 오류를 측정하며, 특히 놓쳤을 때 손실이 큰 사례의 재현율을 확인합니다. 실제 취소 요청 중 얼마나 많은 요청을 찾아냈는지 묻는 식입니다. 추출에서는 필수 필드의 정확한 값과 필드가 없을 때의 처리를 확인합니다. 고정 형식 생성에서는 출력이 요구된 구조를 따르는지, 즉 스키마에 맞는지를 사실의 정확성과 별도로 확인합니다. 라우팅에서는 선택한 후속 처리 경로가 요청을 해결하는지 측정합니다. 교사와 학생의 답이 다른 사례는 독립적으로 확인한 정답에 비추어 검토합니다.

5. 5

   섀도 트래픽을 거쳐 카나리 배포를 진행합니다

   섀도 모드에서는 실제 입력을 학생에게 복사해 보내되, 사용자에게 보여 주는 결과는 기존 시스템이 계속 제공합니다. 실제 부하에서 응답 품질, 지연이 긴 요청, 시간 초과, 상위 모델이나 사람에게 넘겨야 하는 상황을 측정합니다. 이를 통과하면 카나리 배포로 통제된 일부 트래픽만 학생에게 맡깁니다. 명확한 중단 조건과 실제로 작동하는 롤백 수단을 갖춰야 합니다.

6. 6

   대체 처리 경로를 유지하고 데이터 변화를 모니터링합니다

   지원하지 않는 입력, 검증 실패, 미리 정한 고위험 사례는 교사나 사람의 검토로 돌립니다. 입력 구성의 변화, 클래스별 오류, 대체 처리가 필요한 요청의 비율을 모니터링합니다. 프롬프트, 스키마, 학생 체크포인트, 양자화, 상위 처리 단계에서 넘어오는 데이터를 바꾼 뒤에는 다시 평가합니다. 대체 경로가 자주 쓰인다면 설계를 재검토해야 한다는 신호입니다.

실무에서 추출 기능의 배포 승인 기준을 정한다면, 중요한 문서 유형별로 필수 필드 정확도를 유지하고, 기존 서비스의 응답 지연 목표를 지키며, 정보가 없을 때 올바르게 판단을 유보하도록 요구할 수 있습니다. 담당자가 오류의 결과를 바탕으로 기준값을 정해야 합니다. 업체의 일반적인 벤치마크가 이를 대신 정해 줄 수는 없습니다.

모델 라우터 가이드를 참고해 학생에게 맡길 트래픽과 최상위 모델로 돌릴 요청의 경계를 설계합니다. 학생이 스스로 보고하는 신뢰도에만 의존해서는 안 됩니다. 처리 대상 입력 규칙, 출력 검증, 측정된 실패 패턴이 있어야 라우터가 구체적인 근거에 따라 판단할 수 있습니다.

지식 증류를 둘러싼 과장된 기대

“작은 모델이 큰 모델과 같아집니다.” 학생은 제공받은 지도 정보와 데이터가 다루는 범위 안에서 학습합니다. 익숙한 추출 패턴을 잘 처리한다고 해서 낯선 언어, 새로운 문서 유형, 더 폭넓은 추론 작업까지 잘한다고 보기는 어렵습니다.

“생성 데이터가 레이블링 문제를 없애 줍니다.” 레이블을 작성하던 일의 일부가 검토하는 일로 옮겨 갈 뿐입니다. 교사는 일관되게 틀린 예제를 대량으로 만들 수도 있습니다. 사람의 최종 판단과 독립적으로 확인한 테스트 정답은 여전히 중요합니다.

“작은 모델이면 반드시 비용이 줄어듭니다.” 배포된 기능에는 대체 처리, 검토, 호스팅, 모니터링, 재학습까지 포함됩니다. 전체 결과를 기준으로 판단해야 합니다. 응답 지연의 개선도 모델 크기가 보장하는 약속이 아니라 측정으로 확인할 대상입니다.

“관리형 증류를 쓰면 권리 문제도 해결됩니다.” 관리형 증류가 제공하는 것은 범위가 정해진 공식 워크플로입니다. 모든 모델 출력물을 제한 없는 학습 재료로 바꿔 주지는 않습니다.

“유효한 JSON을 반환하면 기능이 제대로 작동하는 것입니다.” 형식이 완벽해도 계정 ID가 틀렸다면 오답입니다. 형식 검사는 배포 승인 기준의 일부이며, 평가의 전부가 아닙니다.

LLM 지식 증류에 관해 자주 묻는 질문

모델 증류는 실제로 효과가 있나요?

교사에게서 학생으로 유용한 작업 수행 방식을 전달할 수 있습니다. 해당 기능에서 중요한 근거는 학습 때 보지 못했고 정답을 독립적으로 확인한 입력에서의 성능, 그리고 이후 통제된 실제 서비스 배포 결과입니다. 모든 작업에서 교사 수준의 능력을 보장하지는 않습니다.

모델 증류와 파인튜닝은 무엇이 다른가요?

증류는 다른 모델이 제공하는 지도 정보로 배우는 것을 뜻합니다. 파인튜닝은 이미 학습된 모델을 작업 데이터로 업데이트하는 과정입니다. 교사 응답이 학생의 지도 학습 예제가 되는 경우, 같은 작업이 증류이면서 동시에 파인튜닝입니다.

LLM 모델은 어떻게 증류하나요?

범위가 좁은 작업을 정의하고, 교사 출력물과 학생 모델의 사용 권한을 확인합니다. 대표성 있는 교사 시범 데이터를 선별해 지원되는 경로로 학습한 뒤, 학생을 교사 및 별도 학습을 하지 않은 작은 기준 모델과 비교합니다. 더 넓은 트래픽을 넘기기 전에 분리해 둔 데이터로 평가하고, 섀도 트래픽과 카나리 배포를 거칩니다.

증류 모델이란 무엇인가요?

다른 모델이 제공하는 지도 정보로 학습한 모델입니다. 작은 모델이 특정 작업을 잘 수행하도록 만드는 데 흔히 사용합니다. 실제 역량은 여전히 학생 모델, 학습 데이터, 평가 대상에 달려 있습니다.

모델 증류란 무엇인가요?

학습을 통해 교사 모델이 익힌 행동을 학생 모델로 옮기는 방식입니다. 일반적인 LLM 워크플로에서는 교사가 레이블이나 답변을 만들고, 학생은 승인된 입력·출력 쌍으로 학습합니다.

증류의 네 가지 유형은 무엇인가요?

LLM 모델 증류에는 보편적으로 통용되는 네 가지 유형 분류가 없습니다. 이런 표현이 들어간 목록은 액체를 분리하는 화학적 증류를 설명하는 경우가 많습니다. LLM 기능을 만들 때는 화학 분야의 분류에서 고르기보다 실제로 사용할 지도 정보와 학습 방식을 확인해야 합니다.

증류를 활용할 수 있는 5가지 예시는 무엇인가요?

LLM 애플리케이션의 후보 작업으로는 고객 지원 티켓 라우팅, 의도 태깅, 청구서 필드 추출, 레코드 정규화, 고정 형식 응답 생성이 있습니다. 평가해 볼 수 있는 활용 예시이며, 증류 모델이 다섯 가지 모두를 자동으로 잘해 낸다는 뜻은 아닙니다.

증류에는 어떤 단점이 있나요?

교사의 오류를 물려받거나 드문 입력을 놓칠 수 있고, 데이터 검토에 큰 비용이 들 수 있으며, 작업이 바뀌면 재학습이 필요할 수 있습니다. 제공업체의 지원 수명주기, 교사 출력물의 사용 제한, 학생 모델의 라이선스도 배포를 제약할 수 있습니다.

간단하게 적용할 수 있는 증류 기법은 무엇인가요?

LLM에서는 사용 권한이 있는 교사로 대표적인 입력에 대한 응답을 생성하고, 이를 검토한 뒤 승인된 쌍으로 학생을 지도 파인튜닝합니다. 이후 별도의 실제 사례로 테스트합니다. 이는 실험실에서 말하는 단순 증류와는 다른 개념입니다.

다음 주에 시작할 일

다음 주에는 반복되는 기능 하나를 골라 담당자를 정합니다. 담당자는 출력 규칙을 문서화하고, 실제 요청에서 학습과 분리해 둘 평가 표본을 모은 뒤, 현재 교사와 프롬프트만 조정한 작은 모델을 비교합니다. 유의미한 품질 차이가 남는다면, 이용 가능하고 사용 권한도 확보된 교사·학생 학습 경로를 확인하고 실패 사례를 중심으로 학습 데이터를 구성합니다.

작은 기준 모델이 이미 통과한다면 그 간단한 개선부터 적용합니다. 교사도 검토자도 어려운 사례에 일관된 레이블을 붙이지 못한다면, 학습 전에 작업 정의부터 정리합니다.

AI 기능의 개발과 운영에 필요한 실무 판단을 받아 보려면 뉴스레터를 구독하세요.