로컬 LLM부터 API까지: 소형 언어 모델의 쓰임과 한계

로컬 LLM 등으로 소형 언어 모델을 시험해 볼 만한 때는 맡길 작업을 명확히 정의하고, 답을 검증하고, 예외를 처리할 수 있을 때입니다. 범위가 좁은 작업을 정해 1B~4B 모델부터 평가합니다. 더 폭넓은 지식이나 더 신뢰할 수 있는 추론이 필요한 작업에는 데이터 정책이 허용하는 한 프런티어 모델 API도 사용할 수 있도록 준비해 둡니다.

기업이 판단해야 할 핵심은 작은 모델이 자사의 하드웨어에서 요구하는 품질 기준을 충족하느냐입니다. 빠르고 그럴듯한 답을 내더라도 검토해야 할 일이 새로 쌓인다면 문제를 해결했다고 볼 수 없습니다.

소형 언어 모델(SLM)이란 무엇인가요?

소형 언어 모델(small language model), 즉 SLM은 범용 역량 일부를 줄이는 대신 필요한 연산 자원을 낮춘 모델입니다. 실제 도입을 계획할 때는 대략 1억~100억 개의 파라미터를 기준 범위로 삼되, 이를 넘는 사례도 있다고 보면 됩니다. 모두가 따르는 경계선은 없습니다. IBM은 수백만~수십억 개로 설명하지만, Mistral은 자사의 소형 모델 제품군에 14B 모델을 명시적으로 포함합니다. 이 경계는 하드웨어와 학습 방식, 가장 큰 모델이 수행할 수 있는 작업에 따라 달라집니다. IBM의 정의와 Mistral의 모델 제품군에서 그 차이를 확인할 수 있습니다.

파라미터는 학습을 통해 정해진 수치 가중치로, 모델의 응답 방식에 영향을 줍니다. 토큰은 모델이 처리하는 텍스트의 조각입니다. 생성형 채팅 모델은 주어진 맥락에서 다음 토큰을 차례로 예측해 답을 만듭니다. 작은 모델은 학습된 가중치 수가 적지만, 개수만큼이나 아키텍처와 학습 품질도 중요합니다. Google의 언어 모델 입문 자료에서 이 작동 원리를 설명합니다.

정해진 메뉴를 만드는 작은 제과점 주방을 떠올리면 쉽습니다. 매일 같은 주문을 반복해서 처리한다면 합리적인 선택입니다. 하지만 손님이 즉석에서 떠올리는 어떤 요리든 만들어 달라는 요구는 전혀 다른 문제입니다. 작은 모델이 저절로 특정 분야의 전문가가 되는 것은 아닙니다. 다만 워크플로의 범위를 좁히면 한정된 역량을 중요한 곳에 집중할 수 있습니다.

소형 모델은 직접 학습시키거나, 큰 모델의 출력을 이용해 작은 모델을 가르치는 지식 증류(distillation) 방식으로 만들 수 있습니다. **양자화(quantization)**는 수치 가중치를 더 낮은 정밀도로 저장해 용량을 줄이는 기법입니다. 둘은 서로 다릅니다. 큰 모델을 양자화해도 파라미터 수가 줄지는 않으며, 훨씬 작은 모델과 동등해지는 것도 아닙니다. IBM도 이 기법들을 구분해 설명합니다.

소형 언어 모델과 대규모 언어 모델, 어떻게 선택할까요?

먼저 작업 결과의 품질을 보고, 그다음 배포 요구 사항을 따져야 합니다. 프런티어 모델 API는 제공업체의 고성능 모델을 인터넷으로 이용하는 서비스로, 추론용 하드웨어를 직접 운영할 필요가 없습니다. 소형 모델은 작업 전체를 기기 안에서 처리하는 방식까지 포함해 배포 선택지를 넓혀 줍니다.

모델 크기와 실행 위치는 별개의 결정입니다. 소형 모델도 API로 제공할 수 있고, 더 큰 공개 모델 중 일부도 자체 인프라에서 실행할 수 있습니다. 제공업체가 이름에 ‘mini’를 붙였다고 해서 파라미터 수를 알 수 있거나 가중치를 다운로드할 수 있다는 뜻은 아닙니다.

이는 배포 방식에 따른 장단점이지 벤치마크 결과가 아닙니다. Microsoft의 SLM 개요는 자원 사용 측면의 이점과 역량의 한계를 설명합니다. 실제로 의미 있는 비교를 하려면 까다로운 입력까지 포함한 자사의 업무로 평가해야 합니다.

기업이 소형 모델을 선택하는 이유

호출당 비용: 작은 모델의 추론은 더 적은 자원을 사용할 수 있습니다. 그렇다고 로컬 실행이 무료인 것은 아닙니다. 하드웨어, 전력, 지원, 유휴 자원, 재시도 비용을 모두 고려해야 합니다. API 청구서가 사라졌다는 이유만으로 성공이라 판단하지 말고, 검토와 상위 단계 이관까지 포함해 실제로 채택한 결과 한 건당 비용을 비교해야 합니다. 사용량이 적은 서비스는 직접 운영하기보다 구매해서 쓰는 편이 간단할 수 있습니다.

지연 시간: 로컬 실행은 원격 추론을 위한 통신 시간을 없애 줍니다. 응답이 반드시 빨라지는 것은 아닙니다. 모델 로딩, 긴 프롬프트 처리, 느린 메모리, 동시 요청이 전체 시간을 좌우할 수 있습니다. 양식이 자동으로 채워지는 모습을 지켜보는 담당자에게 중요한 것은 유효한 양식이 완성될 때까지 걸리는 시간입니다.

개인정보 보호: 로컬 추론은 프롬프트를 기기 안에 유지할 수 있습니다. 하지만 연결된 검색 툴, 원격 대체 모델, 애플리케이션 로그가 같은 텍스트를 다른 곳으로 보내면 이점이 사라집니다. 개인정보가 보호된다고 말하기 전에 동기화 파일과 텔레메트리를 포함한 전체 데이터 경로를 확인해야 합니다.

오프라인 사용: 애플리케이션, 모델, 필요한 파일을 다운로드한 뒤에는 인터넷 없이도 로컬 워크플로를 사용할 수 있습니다. 지하실에서 정비 기록을 작성하는 현장 기술자에게는 중요한 기능입니다. 다만 재고 데이터를 로컬에도 저장해 두지 않았다면 실시간 재고 조회에는 여전히 연결이 필요합니다. LM Studio의 오프라인 문서는 다운로드한 모델의 추론과 연결이 필요한 작업을 명확히 구분합니다.

투자를 유치한 창업자라면 호스팅 서비스를 비교 기준으로 삼는 것이 기능의 유용성을 가장 빨리 파악하는 길인 경우가 많습니다. 중견기업 CTO에게는 반복되는 업무나 데이터 보관 경계가 직접 운영할 이유를 제공할 때 로컬 배포가 매력적입니다. 숙련된 실무 담당자에게 결정적인 지표는 수정 없이 쓸 수 있는 결과가 얼마나 나오는가입니다. 개인 개발자라면 하드웨어를 구매하기 전에 노트북으로 파일럿을 진행해 실현 가능성을 확인할 수 있습니다.

소형 모델에 적합한 다섯 가지 작업

출력의 범위가 제한되어 있고 잘못된 결과를 명확히 걸러낼 수 있는 작업이 가장 유력합니다. 아래는 적용을 검토할 만한 워크플로 유형입니다. 뒤에서 소개할 모든 모델이 이미 해당 작업의 기준을 통과했다는 뜻은 아닙니다.

1. 분류

텍스트를 미리 정한 범주 중 하나로 분류하도록 모델을 사용할 수 있습니다. 고객 지원 담당자라면 문의를 billing, access, bug, other로 나눌 수 있습니다. 각 범주의 정의와 경계가 모호한 사례를 제공하고, 범주별 오류를 따로 측정합니다.

적절한 역할의 경계는 ‘어느 대기열로 보낼지 선택하기’입니다. ‘고객 계정의 문제를 해결하기’까지 맡기는 것은 아닙니다. 분류 체계에 들어맞지 않는 메시지를 위한 other 경로를 남겨 둡니다. 단순한 규칙만으로 이미 안정적으로 분류할 수 있다면 그 규칙을 유지하면 됩니다.

2. 정보 추출

주어진 텍스트를 정해진 형식의 레코드로 바꾸는 작업입니다. 예를 들면 청구서 번호, 공급업체, 지급 기한, 통화 등을 추출합니다. 각 필드가 나온 원문 구간을 함께 요구하고, 정보가 없으면 null을 허용합니다. 출력에 허용되는 구조와 자료형을 정한 스키마는 형식을 검사할 뿐, 값이 정확하다는 사실까지 증명하지는 못합니다.

스캔 문서는 선택한 모델과 런타임이 이미지 입력을 지원하지 않는 한 별도의 문자 인식 단계가 필요합니다. 회계 시스템에 레코드를 보내기 전에 코드로 날짜, 합계, 식별자를 검증해야 합니다. 없는 청구서 번호를 모델이 추측해 채우도록 해서는 안 됩니다.

3. 라우팅

어떤 전문 워크플로가 요청을 받아야 할지 소형 모델이 제안하게 할 수 있습니다. 사내 헬프데스크라면 ‘정책 찾기’, ‘접근 권한 재설정’, ‘상담원 연결’을 구분할 수 있습니다. 그 경로가 허용되는지는 애플리케이션이 확인합니다.

라우팅 모델이 권한 관리 시스템을 대신해서는 안 됩니다. 선택된 경로는 제안으로 취급하고, 허용 목록을 적용하며, 모호한 요청은 상위 단계로 넘깁니다. 모델이 스스로 제시하는 신뢰도는 정답 확률을 검증해 보정한 수치가 아닙니다.

4. 온디바이스 AI 어시스턴트

어시스턴트는 원문을 원격 모델에 보내지 않고도 기술자의 메모를 다듬거나, 로컬에 저장된 지침을 요약하거나, 검색어를 만들 수 있습니다. 범위는 명시적으로 정해야 합니다. ‘어떤 정비 질문이든 답하기’가 아니라 ‘다운로드한 이 매뉴얼을 활용하도록 돕기’처럼 설정합니다.

요청에 관련 원문 구간을 함께 제공합니다. 애플리케이션이 새 절차를 어딘가에 다운로드해 두었다고 모델이 저절로 그 내용을 알게 되지는 않습니다. 원문 문서로 바로 이동할 수 있는 경로를 눈에 띄게 제공하고, 배터리와 발열 제약까지 포함해 실제 사용할 휴대전화에서 시험해야 합니다.

5. 템플릿 기반 초안 작성

승인된 필드와 정해진 형식으로 초안을 생성하는 작업입니다. 고객사 담당자는 검증된 회의 기록을 바탕으로 결정 사항, 담당자, 다음 단계 항목을 갖춘 후속 이메일을 만들 수 있습니다.

약속한 사항, 가격, 날짜는 검증된 원본 필드에서 가져와야 합니다. 값이 없으면 해당 내용을 빼거나 입력을 요청합니다. 애플리케이션이 사실을 제공하고 모델은 표현만 바꾸도록 하면 소형 모델의 초안 작성을 가장 쉽게 통제할 수 있습니다.

오픈소스 소형 언어 모델: 크기와 라이선스 비교

아래는 2026년 10월 14일에 확인한, 제작사가 공개한 오픈 웨이트 모델 후보입니다. 직접 테스트해 순위를 매긴 목록은 아닙니다. 이 분야에서는 ‘오픈소스’라는 말을 느슨하게 쓰는 경우가 많습니다. 가중치를 다운로드할 수 있다고 사용 권한까지 모두 같은 것은 아닙니다. 파생 모델이나 양자화 패키지를 포함해 실제 배포할 체크포인트의 라이선스를 확인해야 합니다.

크기 표기는 제작사의 명칭을 따르되, 개수에 중요한 차이가 있으면 따로 표시했습니다. 런타임은 가중치를 불러와 모델을 실행하는 소프트웨어입니다. 호환성과 사용 가능한 메모리는 별도로 확인해야 합니다.

Google Gemma 4는 로컬 어시스턴트에 텍스트와 함께 이미지나 오디오 입력이 필요할 때 평가해 볼 만합니다. E2B와 E4B라는 이름은 유효 파라미터 수를 나타내므로, 이름만으로 메모리를 계산해서는 안 됩니다. Google은 로컬과 모바일 옵션을 포함한 배포 형식 및 메모리 안내를 제공합니다.

Microsoft Phi-4-mini-instruct는 텍스트 모델입니다. 모델 카드에서 로컬 서빙 방법을 안내하며 사실 지식의 한계도 명시적으로 경고합니다. 따라서 사용할 언어와 문서를 신중히 평가한다는 전제에서, 맥락을 함께 제공하는 작업의 후보로 적합합니다. 최신 정보를 제공하는 지식 출처를 대신하는 모델은 아닙니다.

Alibaba Qwen3.5는 여러 소형 크기를 제공하므로 같은 작업을 서로 다른 하드웨어 자원 규모에서 비교하기 좋습니다. 4B 모델 카드는 서빙 옵션을, 체크포인트 라이선스는 이용 조건을 설명합니다. 모든 로컬 앱이 모든 변형 모델을 지원한다고 가정하지 말고 런타임 지원 여부와 전체 멀티모달 패키지를 확인해야 합니다.

Meta Llama 3.2는 기기에서 직접 평가해 볼 수 있을 만큼 작은 텍스트 전용 모델을 제공하며, Meta가 모바일 양자화 방법도 문서화했습니다. 자체 라이선스는 MIT나 Apache 2.0과 다른 계약입니다. 범위가 정해진 텍스트 워크플로에 적합한 후보이며, 이미지 읽기가 필요하다면 다른 모델을 선택해야 합니다.

Mistral AI Ministral 3는 소형 크기별로 base, instruct, reasoning 변형을 제공하며 이미지 이해를 지원합니다. 일상적인 작업이라면 지시를 따르도록 학습한 instruct 변형부터 평가합니다. 짧은 분류 결과나 추출한 필드만 필요한 상황에서 긴 추론 응답은 지연 시간을 늘릴 수 있습니다. 현재 3B 모델 페이지에서 호스팅 모델을 설명합니다.

첫 파일럿에는 어떤 소형 언어 모델이 좋을까요?

필요한 입력 유형과 언어를 지원하고, 라이선스를 수용할 수 있으며, 지원되는 런타임이 있는 후보 중 가장 작은 모델부터 시작합니다. 정확히 같은 예제로 더 큰 후보와 비교합니다. 실제 업무 없이 모두에게 가장 좋다고 말할 수 있는 모델은 없습니다.

하드웨어를 기준으로 더 넓은 범위의 모델을 살펴보려면 로컬 LLM 추천 가이드를 참고하면 됩니다. 위 후보 목록은 소형 모델을 선택할 때의 판단 기준을 설명하는 데 초점을 맞췄습니다.

노트북, 휴대전화, GPU 한 장에는 어느 정도 모델이 들어갈까요?

모델 가중치는 메모리 요구량의 시작에 불과합니다. 런타임과 컨텍스트, 즉 모델이 처리하는 텍스트와 그 밖의 입력을 위한 작업 메모리도 필요합니다.

의도적으로 단순화한 계산을 해 보겠습니다. 십진법 기가바이트 기준으로 40억 개 파라미터 × 4비트 ÷ 8 = 원시 가중치 2 GB입니다. 이는 단순 산술 계산이지 벤치마크가 아니며, 4B 모델을 RAM 2 GB에서 실행할 수 있다는 뜻도 아닙니다. 양자화 메타데이터, 서로 다른 정밀도로 저장된 가중치, 런타임, 컨텍스트 캐시가 모두 추가 메모리를 사용합니다.

KV 캐시는 앞선 맥락의 일부를 다시 계산하지 않도록 저장하는 작업 메모리입니다. 입력과 출력이 길어지거나 동시 요청이 많아지면 필요한 메모리가 늘어날 수 있습니다. Google의 메모리 계획 안내는 정적 가중치와 컨텍스트, 지원 소프트웨어를 명확히 구분합니다.

휴대전화에는 호환되는 모바일 런타임이 필요하며, 기기의 제약이 지속되는 상황에서도 유용하게 처리할 수 있는 작업이어야 합니다. 노트북에서는 운영체제와 실제 사용하는 앱을 위한 메모리를 남겨야 합니다. GPU 한 장이라는 말만으로는 사양을 알 수 없습니다. 사용 가능한 비디오 메모리, 지원 소프트웨어, 요청 부하가 실행 가능한 모델을 결정합니다.

메모리에 들어가는 모델도 너무 느릴 수 있습니다. 처음 시작할 때와 반복 요청 시의 시간을 모두 측정한 뒤, 실제 사용할 프롬프트 길이와 동시 작업 부하로 시험합니다. 모델 카드에 최대 컨텍스트 윈도가 적혀 있다고 해서 그 용량을 전부 예약할 필요는 없습니다.

소형 언어 모델 실행 방법: 로컬 LLM부터 호스팅 API까지

명령줄과 로컬 API가 워크플로에 맞는다면 Ollama를, 데스크톱 화면에서 모델을 다운로드하고 불러와 비교하고 싶다면 LM Studio를 사용하면 됩니다. 둘 다 런타임이자 애플리케이션이며 모델 자체는 아닙니다. 자세한 선택 기준은 Ollama와 LM Studio 비교에서 다룹니다.

Ollama로 로컬에서 실행하기

**Ollama**는 로컬 모델 실행 도구와 HTTP 인터페이스를 제공합니다. 공식 빠른 시작 안내에 따라 설치하고 실행한 뒤, 이름이 명확히 지정된 모델을 다운로드합니다. Llama 3.2 라이브러리 항목에서 두 소형 크기를 모두 확인할 수 있습니다.

1. 1

   소형 모델 다운로드하기

   Ollama를 설치한 뒤 터미널에서 다음 명령을 실행합니다.

   ollama pull llama3.2:3b
   ollama run llama3.2:3b

   첫 번째 명령은 모델을 다운로드합니다. 두 번째 명령은 대화형 세션을 엽니다. 이는 문서에 안내된 시작 방법이며, 해당 모델이 실제 업무의 기준을 통과했다는 뜻은 아닙니다.

2. 2

   범위가 정해진 API 요청 보내기

   Ollama가 실행 중일 때 다음 요청을 보내면 고객 지원 문의의 범주를 분류하고 JSON으로 출력하도록 요구합니다. curl을 사용할 수 있는 셸에서 실행합니다.

   curl http://localhost:11434/api/generate \
     -H 'Content-Type: application/json' \
     -d '{
       "model": "llama3.2:3b",
       "prompt": "Classify the ticket as billing, access, bug, or other. Return JSON with one key: category. Ticket: I cannot sign in after resetting my password.",
       "format": "json",
       "stream": false
     }'

   응답의 response 필드에서 생성된 텍스트를 확인합니다. 더 엄격한 출력 구조가 필요하면 generate 엔드포인트에 JSON Schema를 전달할 수도 있습니다. 그래도 애플리케이션은 알 수 없는 범주를 거부하고 분류가 정확한지 평가해야 합니다.

3. 3

   실제 실행 경로 확인하기

   ollama ps로 모델이 CPU, GPU 또는 양쪽에 로드되어 있는지 확인합니다. 워크플로 전체를 로컬에 유지해야 한다면 실행 중인 Ollama 서비스의 환경에 OLLAMA_NO_CLOUD=1을 설정해 클라우드 기능을 끄고 서비스를 다시 시작합니다. Ollama는 이러한 설정을 FAQ에서 설명합니다. 오프라인 시험에서는 외부에 연결되는 툴과 원격 대체 처리를 제외합니다.

LM Studio로 로컬에서 실행하기

LM Studio는 호환되는 로컬 모델을 다운로드하고 실행하는 데스크톱 애플리케이션입니다. 애플리케이션 문서는 로컬 모델 파일 형식인 GGUF 지원과 Apple Silicon의 MLX 지원을 설명합니다.

Discover를 열어 모델을 검색하고, 자신의 장비에서 지원되며 실행 가능한 파일을 선택해 다운로드합니다. 채팅에 모델을 불러온 뒤 앞에서 사용한 것과 동일한 분류 요청을 붙여 넣습니다. 같은 제품군 이름의 다운로드 파일이라도 자원 사용량과 품질이 다를 수 있으므로 정확한 모델 파일과 양자화 방식을 기록합니다. 현재 인터페이스의 사용법은 모델 다운로드 안내를 따릅니다.

오프라인 시험을 하려면 모델과 필요한 런타임을 먼저 다운로드한 다음 연결을 끊고 같은 작업을 반복합니다. 모델은 로컬에서 작동해도 모델 검색, 다운로드, 외부 툴에는 여전히 연결이 필요할 수 있습니다. 오프라인 채팅이 된다는 사실이 모든 애플리케이션 연동에서 개인정보가 보호된다는 증거는 아닙니다.

호스팅 API 사용하기

호스팅 방식의 소형 모델 API를 사용하면 GPU를 관리하지 않고도 모델을 평가할 수 있습니다. 예를 들어 Mistral의 호스팅 서비스는 더 큰 모델들과 함께 Ministral도 제공합니다. API 빠른 시작 안내에 따라 계정과 키를 만들고, 모델 페이지에서 현재 소형 모델 식별자를 선택한 뒤, 범위가 정해진 동일한 프롬프트를 채팅 완성 엔드포인트로 보냅니다.

키는 서버에 보관해야 합니다. 로컬 실행 때와 동일한 데이터셋으로 채택 가능한 출력, 응답 시간, 검토에 드는 수고를 비교합니다. 호스팅된 소형 모델도 원격 추론입니다. 파라미터 수가 적다고 오프라인 실행이나 온디바이스 방식의 개인정보 보호가 따라오는 것은 아닙니다.

소형 모델의 한계와 과장된 기대

가장 까다로운 실패는 작업이 미리 설계한 예제의 범위를 벗어날 때 나타납니다. 분류기가 단순한 문의에서는 안정적으로 보여도 요금 분쟁과 접근 문제가 함께 담긴 메시지에서는 실패할 수 있습니다. 초안 작성 모델은 형식을 잘 지키면서도 없던 약속을 만들어 낼 수 있습니다.

폭넓은 지식과 모호한 상황의 추론은 여전히 검증해야 할 약점입니다. Microsoft의 Phi 모델 카드는 사실 지식을 다루는 역량이 제한적임을 명시하며, 긴 대화, 언어별 차이, 신뢰할 수 없는 정보를 경고합니다. 관련 원문 자료를 제공하면 부족한 지식을 보완하는 데 도움이 되지만 정확한 해석까지 보장하지는 않습니다.

‘작으면 정확하다’는 주장에는 근거가 없습니다. 작업 범위를 좁히면 평가와 통제가 쉬워집니다. 그렇다고 모델이 사실만 말하게 되는 것은 아닙니다. 근거를 확인하는 절차와 응답 거부 또는 상위 단계 이관 경로를 유지해야 합니다.

‘로컬이면 개인정보가 보호된다’는 것은 직접 구현해야 할 구조를 뜻합니다. 추론이 로컬에서 이뤄져도 로그, 외부 툴, 문서 동기화, 원격 대체 처리를 통해 데이터가 경계 밖으로 나갈 수 있습니다.

‘컨텍스트 윈도가 길면 매뉴얼 전체를 이해한다’는 기대는 지나칩니다. 공개된 입력 용량이 메모리에 들어간다거나 모든 구간을 올바르게 추론한다는 보장은 없습니다. 관련 구간을 검색해 질문과 함께 제공하고, 원문에 비춰 답을 확인해야 합니다.

특정 분야에 맞는 소형 언어 모델 만들기

전문화는 학습보다 워크플로에서 먼저 시작합니다. 모델에 해당 작업의 용어, 허용된 출력, 관련 문서를 제공합니다. **검색 증강 생성(RAG)**은 관련 원문 자료를 찾아 요청에 함께 넣는 방식입니다. 모델의 가중치를 바꾸지 않고도 제공하는 지식을 갱신할 수 있습니다.

장비 정비 어시스턴트라면 정확히 해당 기종과 개정판에 맞는 지침을 검색해야 합니다. 관련 없는 매뉴얼을 한 폴더째 넘겨주고 모델이 알아서 고르기를 기대해서는 안 됩니다. 담당자가 확인할 수 있도록 답에 원문 자료의 개정 정보를 함께 유지합니다.

소형 언어 모델은 언제 파인튜닝해야 할까요?

파인튜닝은 추가 예제로 사전학습 모델을 조정하는 방법입니다. 안정적으로 정의된 작업에서 같은 유형의 실패가 반복되고, 프롬프트 설계와 원문 검색으로도 해결하지 못했으며, 대표성 있고 올바르게 라벨링된 예제가 있을 때 검토합니다.

고객 지원 분류기라면 장애와 기능 요청을 구분하는 자사만의 기준을 가르치는 경우가 해당할 수 있습니다. 학습에 절대 사용하지 않는 평가용 데이터셋을 따로 남겨 둡니다. 문제가 계속 바뀌는 환불 정책이라면 먼저 모델에 제공하는 정책을 갱신해야 합니다. 파인튜닝으로 최신 기준 자료를 대체하려 해서는 안 됩니다.

지금 도입할 때, 기다릴 때, 기존 구성을 유지할 때

작업이 반복되고, 출력을 확인할 수 있으며, 로컬에서의 가용성이나 데이터 위치가 구체적인 문제를 해결한다면 지금 시작할 만합니다. 수작업으로 문의를 분류하는 숙련된 담당자에게는 회사의 모든 어시스턴트를 대체하려는 창업자보다 더 적합한 파일럿 대상이 있습니다.

허용 가능한 오류를 정의할 수 없거나, 대표성 있는 예제가 없거나, 범위가 정해지지 않은 에이전트가 중대한 결정을 내려야 한다면 전환을 미루는 것이 좋습니다. 먼저 워크플로와 평가 기준을 마련해야 합니다.

기존 API를 유지할 때도 있습니다. 이미 요구 사항을 충족하고 있으며 데이터 위치, 오프라인 가용성, 측정한 운영 성능 어느 것도 이전을 정당화하지 못한다면 그대로 쓰는 편이 맞습니다. 모델 크기 자체는 시스템을 다시 만들 이유가 아닙니다.

월요일에 바로 시작할 일은 대기열 하나, 출력 스키마 하나, 담당자 한 명을 정하는 것입니다. 초기 사례 100건을 모읍니다. 예를 들어 일반적인 요청 70건, 까다로운 요청 20건, 범위 밖 요청 10건으로 구성할 수 있습니다. 이는 출발점으로 제안하는 수량이며 통계적인 보장을 뜻하지 않습니다. 최종 평가에 쓸 예제는 따로 남겨 두고, 드물게 발생하는 실패를 발견할 때마다 추가합니다.

소형 모델 후보와 현재 비교 기준을 동일한 별도 평가 사례로 실행합니다. 정확성, 유효하지 않은 출력, 상위 단계 이관, 메모리 사용량, 전체 처리 지연 시간을 기록합니다. 지연 시간에는 95번째 백분위수, 즉 요청의 95%가 완료되는 시간도 포함합니다. 결과를 비교하기 전에 합격 기준을 정하고, 전체 평균에만 의존하지 말고 범주별 오류를 살펴봅니다. 모델은 답을 제안하되 기존 워크플로가 계속 통제권을 갖는 섀도 모드로 시작합니다.

자주 묻는 질문

SLM은 어떤 작업에 사용하나요?

소형 언어 모델은 분류, 정보 추출, 라우팅, 로컬 어시스턴트, 템플릿 기반 초안 작성처럼 범위가 정해진 언어 작업에 적합합니다. 실제 적합성은 모델, 함께 제공하는 맥락, 출력을 검증하는 절차에 따라 달라집니다.

사전학습 언어 모델이란 무엇인가요?

학습 데이터셋에서 패턴을 이미 학습한 가중치를 갖춘 모델입니다. 제공된 그대로 사용하거나 용도에 맞게 조정할 수 있습니다. 지시 튜닝을 거친 버전은 요청을 따르도록 추가 학습한 것으로, 대체로 어시스턴트를 만들 때 실용적인 출발점입니다.

대규모 언어 모델에는 어떤 것들이 있나요?

Gemma, Phi, Qwen, Llama, Mistral은 언어 모델 제품군입니다. 일부는 작은 모델과 큰 모델을 모두 포함합니다. SLM은 상대적인 크기를 설명하는 말이며 LLM과 완전히 별개의 기술은 아닙니다.

신경망 언어 모델이란 무엇인가요?

신경망 안에서 학습된 수치 가중치를 이용해 다음에 나올 가능성이 높은 토큰처럼 언어의 패턴을 추정하는 모델입니다. 현재의 생성형 언어 모델 상당수는 트랜스포머 아키텍처를 사용합니다.

ChatGPT는 신경망인가요?

ChatGPT는 신경망 기반 언어 모델로 작동하는 애플리케이션입니다. 애플리케이션과 그 기반 모델은 서로 다른 계층입니다. ‘ChatGPT’라는 이름이 하나의 고정된 신경망 크기를 뜻하지는 않습니다. OpenAI도 모델의 개념과 ChatGPT에 사용되는 모델을 구분해 설명합니다.

CNN이 ANN보다 더 좋은가요?

합성곱 신경망(CNN)은 인공 신경망(ANN)의 한 종류입니다. 언제나 더 좋은 것은 아닙니다. 합성곱은 이미지와 같은 공간 패턴을 다루는 데 유용하며, 적합한 아키텍처는 작업에 따라 달라집니다.

YOLO는 단순한 CNN인가요?

YOLO는 객체 탐지 시스템 제품군입니다. 많은 버전이 합성곱 구성 요소를 사용하지만, 실제로 작동하는 탐지기에는 아키텍처, 학습 과정, 예측 로직이 함께 들어갑니다. 소형 언어 모델은 아닙니다. Ultralytics에서 이 모델 제품군을 설명합니다.

TensorFlow는 CNN 모델인가요?

아닙니다. TensorFlow는 머신러닝 모델을 만들고 실행하는 소프트웨어 프레임워크입니다. CNN은 이 프레임워크로 만들 수 있는 모델의 한 종류이며, CNN 튜토리얼에서 그 예를 볼 수 있습니다.

신경망의 네 가지 유형은 무엇인가요?

정확히 네 가지로 정해진 보편적인 분류는 없습니다. 순전파, 합성곱, 순환, 트랜스포머 신경망은 흔히 언급되는 네 범주이지만 아키텍처의 분류 방식은 다양합니다. 모델 크기는 별개의 속성입니다. Google의 머신러닝 용어집을 참고할 수 있습니다.

AI 시스템 선택과 운영에 관한 실용적인 가이드는 뉴스레터 구독으로 받아 볼 수 있습니다.