GPTQ부터 GGUF·AWQ·FP8까지, LLM 양자화 선택 가이드

워크로드를 메모리에 수용할 수 있고 자체 품질 검증도 통과하는 범위에서 가장 높은 정밀도를 선택합니다. 다운로드 파일이 작아도 모델이 여전히 정확하게 답하고 대화에 필요한 메모리를 충분히 남겨야 의미가 있습니다.

문서 내용과 호환성 관련 설명은 2026년 10월 20일 각 프로젝트의 공식 웹페이지를 기준으로 확인했습니다. 메모리 수치는 Qwen2.5-7B-Instruct에 명시된 파라미터 수로 계산한 값이며, GPU 메모리 사용량을 실측하거나 벤치마크로 얻은 결과가 아닙니다.

LLM 양자화란? 모델 구조는 유지하고 정밀도를 낮추는 방법

양자화는 모델이 학습한 수치를 더 적은 비트로 저장하는 방법입니다. 대규모 언어 모델, 즉 LLM은 가중치라고 부르는 학습된 수치 파라미터를 사용해 텍스트를 생성합니다. 정밀도를 낮추면 이 수치를 저장하고 옮기는 부담이 줄어드는 대신 근사 오차가 생깁니다. Hugging Face의 양자화 개요는 이러한 메모리와 정확도 사이의 절충 관계를 설명합니다.

치수를 아주 정밀하게 기록한 건축 도면을 떠올려 보겠습니다. 측정값을 반올림하면 기록은 간결해지지만 일부 치수는 조금씩 달라집니다. 그래도 건물의 방 구성은 그대로입니다. 일반적인 가중치 양자화도 마찬가지입니다. 큰 모델의 레이어 수나 학습된 파라미터 수를 줄이는 것이 아니라, 가중치를 얼마나 정밀하게 표현할지를 바꿉니다.

다만 이 비유만으로 전부 설명되지는 않습니다. 양자화는 단순히 소수점 아래 자릿수를 잘라내는 것보다 정교한 작업입니다. 값들을 그룹으로 묶고 스케일을 부여한 뒤, 표현 가능한 값의 집합을 더 작게 줄여 매핑할 수 있습니다. 런타임은 계산할 때 이 스케일을 이용해 근삿값을 복원합니다. 중요한 부분은 더 높은 정밀도로 유지할 수도 있습니다. IBM의 양자화 설명에서 이러한 매핑과 그에 따른 오차를 다룹니다.

다운로드할 모델을 고르기 전에 다음 세 가지를 구분해야 합니다.

• 가중치: 모델에 저장되는 학습된 값입니다.
• 활성값: 입력을 처리하는 동안 생성되는 중간 값입니다.
• KV 캐시: 이미 처리한 컨텍스트의 어텐션 데이터를 저장한 것입니다. 대화가 길어질수록 추가 메모리를 차지합니다.

가중치만 양자화하는 방식은 첫 번째 항목을 줄입니다. 나머지 두 항목까지 자동으로 줄여 주지는 않습니다. 그래서 모델을 정상적으로 로드했더라도 긴 요청을 처리하다 메모리가 부족해질 수 있습니다. Ollama의 메모리 및 캐시 문서도 컨텍스트 용량과 캐시 정밀도를 따로 다룹니다.

학습 후 양자화와 양자화 인지 학습은 어떻게 다를까요?

모델을 다운로드해 사용하는 개발자라면 대개 학습 후 양자화부터 살펴보면 됩니다. 학습 후 양자화, 즉 PTQ는 이미 학습된 체크포인트를 변환합니다. 일부 방식은 가중치를 어떻게 근사할지 결정하는 데 도움을 주는 대표 입력, 즉 캘리브레이션 데이터를 사용합니다. 양자화 인지 학습인 QAT는 학습이나 파인튜닝 과정에서 낮은 정밀도의 영향을 반영합니다. IBM은 두 접근법을 모두 설명합니다.

공개된 양자화 체크포인트를 사용하기 위해 직접 모델을 학습할 필요는 없습니다. 다만 어떤 원본 모델에서 만들어졌는지, 어떤 양자화 설정을 적용했는지, 어떤 런타임에서 로드할 수 있는지는 알아야 합니다. 파일 이름만으로는 이 정보를 충분히 파악할 수 없습니다.

GGUF·AWQ·GPTQ·FP8, 어떤 런타임에서 사용할까요?

이 이름들은 시스템의 서로 다른 계층을 가리키므로 같은 기준에서 서로 대체할 수 있는 선택지가 아닙니다. GGUF는 컨테이너입니다. AWQ와 GPTQ는 양자화 방법이며, FP8은 수치 형식입니다. 체크포인트는 가중치와 이를 로드하는 데 필요한 정보를 함께 담은 저장된 모델 아티팩트입니다.

모델 호스팅 플랫폼이자 Transformers 개발사인 Hugging Face는 파일 형식과 로딩 방법을 모두 문서로 제공합니다. 아래 표는 해당 문서와 각 런타임의 안내를 종합한 실무용 선택 기준입니다. 표에 나온 모든 실행 방식에서 모든 모델 아키텍처가 작동한다는 뜻은 아닙니다.

확장자가 .safetensors라고 해서 정밀도를 알 수 있는 것도 아닙니다. 이 확장자는 텐서 저장 형식을 나타냅니다. 텐서가 어떻게 표현되는지, 어떤 로더를 사용해야 하는지는 체크포인트의 양자화 구성과 모델 카드를 읽어 확인해야 합니다. Hugging Face의 GGUF 문서는 컨테이너 메타데이터와 텐서 데이터를 구분하며, AWQ 가이드는 관련 quantization_config 필드를 보여 줍니다.

Q4_K_M은 무엇을 뜻할까요?

Q4_K_M은 혼합 정밀도 프리셋으로 이해해야 합니다. 모든 파라미터가 정확히 4비트를 차지한다는 보장은 아닙니다. Q4는 명목상 4비트 계열, K는 K-quant 블록 방식, M은 중간 크기 프리셋을 나타냅니다. 모델 아키텍처와 양자화 도구의 규칙에 따라 일부 텐서에는 더 높은 정밀도가 적용될 수 있습니다. llama.cpp의 양자화 구현에서 이러한 선택을 확인할 수 있습니다.

기본 Q4_K 블록에도 관리 정보가 들어갑니다. 프로젝트의 텐서 인코딩 표에 따르면 스케일과 최솟값 정보를 포함한 저장량은 가중치당 4.5비트입니다. 이는 블록 수준의 수치이며, 모든 Q4_K_M 모델의 평균값은 아닙니다.

메모리가 제한된 로컬 컴퓨터라면 Q4_K_M을 평가 후보로 삼을 만합니다. 사용하려는 컨텍스트까지 고려해도 더 높은 정밀도의 버전이 메모리에 들어간다면 함께 비교합니다. 더 작은 파일이 있다는 이유만으로 답변 품질을 포기할 필요는 없습니다.

Qwen2.5-7B-Instruct로 계산하는 메모리 요구량

전체 파라미터 수로 가중치 용량을 계산한 다음, 실행에 필요한 메모리를 더해야 합니다. 구체적인 예제로 사용할 Qwen2.5-7B-Instruct는 Qwen의 지시 튜닝 모델로, 총 파라미터 수가 7.61B입니다. 모델 카드에는 임베딩을 제외한 파라미터 수가 6.53B라고 별도로 명시되어 있습니다. 이 작은 수치를 쓰면 저장되는 모델의 일부를 계산에서 빠뜨리게 됩니다. Qwen 모델 카드.

이론적인 계산식은 다음과 같습니다.

가중치 바이트 수 ≈ 파라미터 수 × 파라미터당 비트 수 ÷ 8

16비트로 계산하면 7,610,000,000 × 16 ÷ 8 = 15,220,000,000 bytes입니다. 다른 정밀도에도 같은 계산을 적용합니다.

이 수치는 모든 파라미터가 표에 적힌 비트 수를 사용한다고 가정하고, 모델 카드에 반올림되어 기재된 파라미터 수를 바탕으로 직접 계산한 결과입니다. 십진 단위 GB는 바이트 수를 1,000,000,000으로 나누고, GiB는 1,073,741,824로 나눕니다. 단위에 따라 표시되는 숫자는 달라지지만 실제 메모리 양은 같습니다.

표에는 양자화 스케일, 고정밀 텐서, 파일 메타데이터, 캐시, 활성값, 임시 작업 버퍼, 런타임이 예약하는 메모리를 포함하지 않았습니다. Q4_K_M 다운로드 파일의 크기는 이론적인 4비트 행의 값과 같지 않습니다. 또한 이 4비트 계산값만으로 가상의 4 GB GPU에서 모델이 실행된다고 판단할 수도 없습니다.

따라서 로컬 코딩 어시스턴트에서는 짧은 대화만으로 메모리 용량이 충분한지 검증할 수 없습니다. 실제로 사용할 소스 파일, 지시문, 응답 길이를 포함해야 유효한 테스트가 됩니다. 서버라면 동시 요청도 추가해야 합니다. Ollama는 병렬 요청과 컨텍스트 할당이 메모리에 미치는 영향을 명시적으로 문서화하고 있습니다.

컨텍스트 메모리를 따로 계산하는 방법은 KV 캐시 가이드를 참고합니다. 가중치 양자화와 캐시 양자화는 서로 다른 설정입니다. vLLM도 KV 캐시 양자화를 별도 기능으로 설명합니다.

런타임에 맞춰 양자화 형식을 선택하는 방법

정밀도 표시를 보기 전에 실행 방식부터 정합니다. 호환성은 반드시 충족해야 하는 조건입니다. 그다음 사용 가능한 메모리, 답변 품질, 실제 워크로드에서 측정한 지연 시간을 기준으로 선택합니다.

llama.cpp: 호환되는 GGUF부터 고릅니다

로컬 추론 엔진인 llama.cpp는 모델 파일과 기기 배치를 직접 제어하며 GGUF를 실행할 때 적합한 선택입니다. 프로젝트 문서는 CPU 실행, Apple silicon 지원, CPU와 GPU를 함께 사용하는 실행 방식을 안내합니다. 모델 가중치 전체를 외장 GPU에 올릴 수 없을 때 유용한 이유입니다. llama.cpp 프로젝트 문서.

다만 로드에 성공했다고 실용적인 속도를 보장하는 것은 아닙니다. CPU와 GPU에 나누어 배치하면 실행 조건이 달라지므로, 실제 프롬프트와 응답으로 속도를 측정해야 합니다. 모델 아키텍처를 먼저 고르고, 호환되는 GGUF를 선택한 다음, 양자화 프리셋을 정합니다.

베이스 모델 후보는 이 사이트의 추천 로컬 LLM 가이드에서 좁혀 볼 수 있습니다. 높은 정밀도에서도 특정 작업을 잘 처리하지 못하는 베이스 모델이 양자화한다고 그 작업을 이해하게 되지는 않습니다.

Ollama: 실행할 양자화 파일을 미리 준비해 가져옵니다

로컬 모델 실행 도구인 Ollama는 준비된 GGUF를 가져올 수 있지만, 가져오기 자체가 양자화를 수행하지는 않습니다. 현재 가져오기 가이드에서도 양자화 파일을 먼저 준비하라고 안내합니다. 가져오기 명령이 고정밀 모델을 자동으로 Q4_K_M으로 바꿔 줄 것이라 기대한다면 이 점을 알아야 합니다. Ollama 가져오기 문서.

Ollama가 설치되어 있고, 이미 양자화한 호환 파일이 현재 디렉터리에 model.gguf로 저장되어 있다면 문서에 안내된 흐름은 다음과 같습니다.

printf 'FROM ./model.gguf\n' > Modelfile
ollama create quant-check
ollama run quant-check

다른 터미널에서 ollama ps를 실행하면 로드된 모델이 CPU와 GPU에 어떻게 배치되었는지 확인할 수 있습니다. 이는 무엇이 로드되었는지 확인하는 절차이며, 품질 벤치마크는 아닙니다. Ollama FAQ.

Ollama에서도 워크로드의 메모리 요구량은 여전히 제약입니다. 모델 실행 명령이 편리하다고 컨텍스트와 동시 요청에 필요한 메모리를 생략할 수는 없습니다. Ollama와 llama.cpp 비교에서는 모델 파일과 런타임을 어느 수준까지 제어할지 판단하는 기준을 설명합니다.

vLLM: 체크포인트·커널·GPU의 호환성을 맞춥니다

추론 및 서빙 엔진인 vLLM에는 지원되는 실행 경로에 맞는 양자화 체크포인트가 필요합니다. 모델 배포자가 지원하는 AWQ, GPTQ 또는 FP8 파일에서 시작한 뒤, vLLM 하드웨어 호환성 표에서 GPU 지원 여부를 확인합니다. 커널은 해당 하드웨어에서 특정 형식을 효율적으로 실행하게 하는 저수준 연산 구현입니다.

현재 문서는 새로 AWQ 양자화를 수행할 때 LLM Compressor를 사용하도록 안내합니다. **AutoAWQ는 사용 중단이 권고된 상태(deprecated)**이지만, AWQ라는 방법과 체크포인트 계열 자체가 사라진 것은 아닙니다. Transformers에서 GPTQ를 사용할 때 유지보수되는 백엔드는 GPTQModel이며, 체크포인트 설정에 따라 호환성이 달라질 수 있습니다. vLLM AWQ 안내, Hugging Face GPTQ 안내.

FP8은 한 가지를 더 구분해야 합니다. W8A8은 가중치와 활성값이 모두 8비트라는 뜻이며, W8A16은 가중치가 8비트, 활성값이 16비트라는 뜻입니다. vLLM 문서는 NVIDIA Ada, Hopper, Blackwell에서 네이티브 FP8 W8A8을 지원한다고 설명합니다. Turing과 Ampere에서는 Marlin을 통해 가중치만 양자화하는 W8A16 경로를 사용할 수 있습니다. 따라서 “FP8 지원”이라는 문구만으로 실제 연산 경로를 알 수는 없습니다. vLLM FP8 문서.

로컬에서 잘 작동했다는 이유만으로 GGUF를 vLLM 배포의 기본 모델 형식으로 삼아서는 안 됩니다. 현재 문서에서는 vllm-gguf-plugin을 통해 GGUF를 실행하도록 안내하며, 여전히 실험 단계이고 최적화가 충분하지 않아 일부 기능과 호환되지 않을 수 있다고 설명합니다. 이는 환경을 옮길 때 고려할 제약이지, GGUF 자체가 열등하다는 근거는 아닙니다. vLLM GGUF 문서.

호스팅 API: 엔드포인트가 제공하는 옵션 안에서 선택합니다

호스팅 API가 정밀도 설정을 제공하지 않는다면 사용자가 로컬에서 고를 양자화 옵션도 없습니다. 엔드포인트의 명세를 읽어야 합니다. 이름이 명시된 정밀도별 버전을 제공한다면 선택한 버전을 평가합니다. 그렇지 않다면 내부 표현 방식을 추측하지 말고 서비스의 출력과 지연 시간을 평가합니다.

모델 이름이 같다는 이유만으로 공급자 간 양자화 방식, 런타임, 결과가 같다고 볼 수는 없습니다. 애플리케이션에 필요한 경우에만 문서로 명시된 체크포인트나 정밀도 보장을 요청합니다. 자체 가중치를 업로드해 서빙하는 것은 별도의 배포 결정이며, 이때는 다시 런타임과 하드웨어 호환성을 검토해야 합니다.

양자화로 달라지는 메모리·속도·품질

표현에 필요한 데이터가 작아지면 메모리를 절약할 수 있지만, 속도와 품질은 각각 평가해야 합니다. 메모리에 보관할 데이터가 줄면 가중치를 옮기는 부담도 줄어들 수 있습니다. 다만 런타임은 계산에 앞서 압축된 값을 풀거나 변환해야 할 수도 있습니다. Hugging Face의 GPTQ 문서는 융합 커널이 GPU 전역 메모리에서 모델 전체를 펼치지 않고도 계산에 필요한 저비트 가중치를 복원하는 방식을 설명합니다.

여기에 양자화의 이점과 한계가 함께 드러납니다. 지원되는 커널은 작은 가중치 표현을 효과적으로 활용할 수 있지만, 맞지 않는 실행 경로는 그 이점을 없앨 수 있습니다. 파일 크기를 속도 벤치마크처럼 받아들이기보다, 목표한 동시 요청 수에서 첫 토큰까지의 시간, 생성 속도, 처리량을 측정해야 합니다.

품질도 작업별로 확인해야 합니다. 코딩 어시스턴트라면 제안한 변경 사항이 관련 테스트를 통과하는지 비교합니다. 문서에서 정보를 추출한다면 필수 필드와 구조화된 출력의 유효성을 비교합니다. 다국어 어시스턴트라면 서비스할 언어를 평가에 포함합니다. 문장이 자연스럽다는 사실만으로 양자화 후에도 해당 작업의 성능이 유지되었다고 볼 수는 없습니다.

유효한 비교는 같은 원본 체크포인트의 고정밀 버전과 양자화 후보를 대상으로, 동일한 프롬프트·채팅 템플릿·생성 설정을 사용하는 것입니다. 관련 없는 모델까지 동시에 비교하면 양자화가 무엇을 바꾸었는지 분리해 판단할 수 없습니다.

양자화가 필요 없는 경우와 과장된 주장

이미 메모리에 충분히 들어가고 양자화 후보에 실측된 운영상 이점이 없다면 높은 정밀도를 유지합니다. 추가 압축은 검증해야 할 모델 파일과 동작을 하나 더 만듭니다. 실제로 겪는 문제를 해결할 때 적용해야 합니다.

중요한 작업 검증을 통과하지 못하거나, 런타임의 해당 실행 경로가 제대로 지원되지 않거나, 긴 컨텍스트를 사용하는 워크로드가 여전히 메모리를 초과한다면 저정밀 버전을 도입하지 않습니다. 마지막 경우에는 가중치만 계속 줄이기 전에 컨텍스트와 동시 요청 수부터 검토해야 합니다.

추론용 양자화 모델을 모든 학습에 쓸 수 있는 체크포인트로 여겨서도 안 됩니다. bitsandbytes가 문서로 안내하는 저비트 학습 지원 대상은 어댑터 가중치와 같은 추가 파라미터입니다. 이는 특정한 파인튜닝 워크플로에 관한 설명이지, 다운로드한 모든 양자화 모델에서 일반적인 전체 가중치 학습이 가능하다는 뜻이 아닙니다. Hugging Face bitsandbytes 문서.

대표적으로 다음과 같은 주장은 과장되어 있습니다.

• “4비트면 애플리케이션 전체 메모리가 4분의 1로 줄어듭니다.” 이는 16비트 대비 이상적인 가중치 비트 폭의 비율입니다. 런타임 메모리에는 다른 구성 요소도 있습니다.
• “8비트는 하나의 형식입니다.” FP8, INT8, Q8_0은 서로 다른 표현 방식과 실행 경로를 사용합니다.
• “비트 수가 낮을수록 항상 빠릅니다.” 메모리 감소가 지연 시간이나 처리량 개선으로 이어질지는 체크포인트, 커널, 하드웨어, 워크로드에 달려 있습니다.
• “양자화한 큰 모델은 정밀도가 높은 작은 모델보다 항상 낫습니다.” 파라미터 수와 비트 폭만으로 작업 품질을 판단할 수는 없습니다. 둘 다 메모리에 들어간다면 두 후보를 모두 평가합니다.

코딩용 후보는 추천 로컬 코딩 AI 모델 가이드에서 살펴본 뒤, 선택한 체크포인트의 양자화 버전들을 실제로 맡길 작업으로 비교합니다.

LLM 모델 양자화, 실제 적용은 이렇게 시작합니다

지원되는 모델 파일 하나와 작고 반복 가능한 평가부터 시작합니다. 정밀도가 미치는 영향을 파악할 때까지는 원본 모델을 바꾸지 않습니다.

자주 묻는 질문

AI 시스템을 실행하고 배포하는 실용적인 가이드를 받아보려면 뉴스레터를 구독하세요.