로컬 AI, 직원 노트북과 스마트폰으로 어디까지 가능할까

2026년 현재 로컬 AI, 즉 온디바이스 AI를 활용하면 짧은 요약, 초안 수정, 음성 처리를 직원 기기 안에서 수행할 수 있습니다. 다만 데이터가 외부로 나가는지는 여전히 앱이 결정합니다. 범위가 명확한 업무부터 옮기고, 클라우드로 전환되는 지점을 분명히 하며, 실제 업무 문서로 결과를 평가한 뒤 적용 범위를 넓혀야 합니다.

업무 운영 담당자에게 중요한 질문은 업무의 어느 부분까지 노트북이나 스마트폰 안에서 처리할 수 있느냐입니다. 회사 업무 전반을 조사하고 추론하며 실행하는 어시스턴트보다는, 현장 직원의 메모를 인수인계용 요약으로 정리하는 기능이 더 적절한 출발점입니다.

2026년 10월 23일 각 제조사의 공식 문서를 기준으로 확인했습니다. 아래 업무 비교표는 문서에 명시된 기능과 요구 사항을 분석한 것으로, 성능 벤치마크가 아닙니다.

로컬 AI와 온디바이스 AI는 무엇인가요?

온디바이스 AI는 기기에 내장된 프로세서에서 모델을 실행합니다. 중앙처리장치(CPU), 그래픽처리장치(GPU), 또는 지원되는 AI 연산을 위해 설계된 칩인 신경망처리장치(NPU)를 사용할 수 있습니다. 모델을 실행해 답을 생성하는 과정을 추론이라고 합니다. NPU를 활용하려면 그에 맞게 설계된 소프트웨어가 필요합니다. NPU가 탑재되어 있다고 해서 모든 AI 앱이 자동으로 빨라지는 것은 아닙니다. Microsoft의 NPU 개발자 가이드

문서를 다른 사무실로 보내 번역을 맡기는 대신, 번역가가 바로 옆에서 문서를 읽고 작업한다고 생각하면 됩니다. 로컬 추론은 그 처리를 내 곁에서 수행합니다. 그렇다고 앱이 사본을 다른 곳으로 보내지 못하는 것은 아닙니다. 번역이 끝난 문서를 나중에 이메일로 보낼 수 있는 것과 같습니다.

로컬 모델을 호출하는 데는 데이터가 기기 밖으로 나갈 필요가 없습니다. 하지만 모델을 감싼 앱은 프롬프트를 업로드하거나, 문서를 동기화하거나, 온라인 툴을 호출하거나, 클라우드 모델을 선택할 수 있습니다. 예를 들어 Apple의 프레임워크에서는 로컬 데이터베이스나 온라인 데이터베이스를 조회하는 툴을 모델에 제공할 수 있습니다. 어디서 처리할지와 앱이 무엇을 공유할지는 별개의 결정입니다. Apple Foundation Models 문서

오프라인 AI 기능도 사전 준비가 필요합니다. 모델 파일이 이미 기기에 있어야 하고, 네트워크 연결 없이 앱이 입력 데이터에 접근할 수 있어야 합니다. 접속할 수 없는 원격 시스템에만 있는 문서는 로컬 모델로 요약할 수 없습니다.

기업이 지금 활용할 수 있는 온디바이스 AI 모델은 무엇인가요?

업무에 활용할 수 있는 소프트웨어부터 고른 다음 하드웨어를 확인해야 합니다. Apple과 Google의 프레임워크는 앱을 만드는 데 쓰는 구성 요소입니다. Windows에는 바로 사용할 수 있는 특정 기능이 포함되어 있고, 데스크톱 모델 실행 도구를 쓰면 직원이나 개발자가 모델을 직접 고를 수 있습니다. 각각 도입 방식이 다릅니다.

Apple Foundation Models: 앱 안에 범위가 작은 기능 구현하기

Apple Foundation Models 프레임워크는 Apple의 프로그래밍 언어인 Swift로 모델 기반 기능을 구현하는 인터페이스입니다. 온디바이스 모델은 제공된 텍스트 요약, 세부 정보 추출, 초안 다듬기 등의 작업을 지원합니다. 가이드 생성 기능은 미리 정의한 Swift 데이터 구조로 결과를 반환할 수 있어, 앱에 문단 대신 정해진 필드가 필요할 때 유용합니다. Apple 프레임워크 개요

제품 책임자라면 기술자의 메모를 사람이 검토할 수 있는 구조화된 인수인계 자료로 바꾸는 기능을 고려할 만합니다. 앱이 원본 자료를 제공하고 출력 형식을 정합니다. 장비를 어떻게 수리해야 하는지 모델이 판단하도록 하는 것보다 훨씬 범위가 좁은 작업입니다.

Apple의 현재 생성 가이드는 온디바이스 모델로 피해야 할 작업에 코드 생성, 기초 수학, 논리적 추론을 포함합니다. 계산과 검증은 일반적인 애플리케이션 코드로 처리하고, 중요한 결과에 영향을 주는 생성 콘텐츠는 평가해야 합니다. Apple의 모델 활용 지침

이 프레임워크는 iOS 26, iPadOS 26, macOS 26 세대의 운영체제부터 사용할 수 있으며, 이후 추가된 API에는 별도의 지원 조건이 있습니다. 하드웨어는 Apple Intelligence를 지원해야 합니다. 예를 들면 iPhone 15 Pro, iPhone 16 및 이후 모델, M1 이상 칩을 탑재한 Mac이 해당합니다. 실행 시점에 언어, 지역, 모델 다운로드 완료 여부를 포함해 실제 모델을 사용할 수 있는지 확인해야 합니다. 프레임워크 지원 조건, Apple 기기 요구 사항

구현할 때 온디바이스 모델을 명시적으로 지정해야 합니다. 이 프레임워크는 이제 Private Cloud Compute와 다른 서버 제공업체도 지원합니다. 앱이 Foundation Models를 사용한다고 밝히는 것만으로는 개별 요청이 어디서 실행되는지 알 수 없습니다. Apple의 지원 모델 안내

Google 온디바이스 AI: Android와 Chrome에서 활용하기

Google Gemini Nano는 Android의 AICore 시스템 서비스에서 사용하는 로컬 모델입니다. 개발자는 ML Kit를 통해 접근하며, ML Kit는 요약, 교정, 재작성 등의 API를 제공합니다. 현장 서비스 앱이라면 직원이 입력한 메모를 짧게 정리하는 기능부터 시범 적용할 수 있습니다. Google의 Android AI 개요

지원 기기는 API와 모델 버전에 따라 달라집니다. Google의 지원 기기 목록과 가용성 확인 기능을 사용해야 합니다. Android 버전이나 RAM 용량만으로 지원 여부를 판단할 수는 없습니다. 운영상 제약도 있습니다. ML Kit GenAI 추론은 해당 앱이 최상위 포그라운드 앱일 때만 허용되며, 요청 횟수와 배터리 사용량에 할당량이 적용됩니다. 따라서 사람의 개입 없이 백그라운드에서 문서를 대기열에 쌓아 처리하는 용도로는 적합하지 않습니다. ML Kit 요구 사항과 제한

더 유연하게 활용할 수 있는 Prompt API는 아직 베타이며, 서비스 수준 협약이나 지원 중단 정책이 없습니다. 따라서 Google이 호환성을 깨뜨리는 변경을 할 수 있습니다. 직원 업무의 필수 기능으로 삼기 전에 이 의존성을 검토해야 합니다. Google Prompt API 제공 상태

Google Chrome에서는 지원되는 데스크톱과 노트북에서 브라우저 내장 API를 통해 Gemini Nano를 사용할 수 있습니다. 웹 제품은 이미 확보한 텍스트를 로컬에서 요약하는 기능을 제공할 수 있습니다. Summarizer API는 Chrome 정식 버전에서 사용할 수 있으며, 기능과 모델의 가용성을 확인해야 합니다. Chrome Summarizer 문서

CPU로 실행하려면 최소 16 GB RAM과 CPU 코어 4개가 필요합니다. GPU로 실행하려면 GPU 메모리인 VRAM이 4 GB를 초과해야 합니다. Google은 Chrome 프로필이 저장된 볼륨에 22 GB의 디스크 여유 공간도 요구합니다. 이는 여유 공간 조건이며, 모델 자체가 그만큼의 공간을 차지한다는 뜻은 아닙니다. 이 파운데이션 모델 API는 현재 Android나 iOS용 Chrome에서는 작동하지 않습니다. Chrome 하드웨어 요구 사항

사내용 웹 툴을 만든다면 모든 직원이 사용할 수 있다고 약속하기 전에 실제 브라우저 환경을 점검해야 합니다. 로컬 모델을 사용할 수 없을 때도 원문을 확인하고 수동으로 업무를 처리할 수 있어야 합니다.

Copilot+ PC: Windows 기능별 활용 범위 확인하기

Microsoft Copilot+ PC는 Live Captions 번역, Windows Studio Effects, 향상된 Windows 검색 같은 기능을 위한 하드웨어를 제공합니다. 기능마다 기기, 언어, 배포 조건이 다릅니다. Microsoft의 기업용 기능 안내

이 등급의 PC는 Windows 요구 사항과 함께 호환되는 40+ TOPS NPU, 16 GB RAM, 256 GB 저장 공간을 갖춰야 합니다. TOPS는 초당 수행하는 연산 수를 조 단위로 나타낸 값입니다. 연산 능력을 설명할 뿐, 모델이 업무 질문에 얼마나 잘 답하는지를 나타내지는 않습니다. Microsoft 하드웨어 사양

Live Captions는 로컬 기능을 설명하기 좋은 사례입니다. Microsoft에 따르면 오디오 처리와 자막 생성이 기기 안에서 이루어집니다. 기본 자막 기능은 이미 Windows에 있으며, Copilot+는 여기에 번역을 추가합니다. 다만 생성된 자막은 저장되지 않습니다. 따라서 회의 기록 보관 기능이나 전사문을 보존해야 하는 업무를 대체할 수는 없습니다. Microsoft Live Captions 문서

구매 담당자는 어떤 기능 때문에 해당 하드웨어가 필요한지 먼저 확인해야 합니다. NPU가 있는 기기를 구매한다고 해서 Microsoft Copilot의 클라우드 기능이나 임의의 데스크톱 모델이 그 칩에서 실행되는 것은 아닙니다. Windows AI 사양, NPU 소프트웨어 요구 사항

Ollama와 LM Studio: 로컬 LLM을 직접 선택하기

Ollama는 애플리케이션이 호출할 수 있는 API를 제공하는 로컬 모델 실행 도구입니다. 공식 문서는 로컬 모델 실행과 선택적으로 사용하는 클라우드 기능을 구분합니다. 로컬 모델을 기존 업무 흐름에 연결하고, CPU와 GPU 중 어떤 자원을 사용하는지 확인하려는 기술 개발자에게 적합합니다. Ollama 문서

로컬 처리로 제한하려는 경우, Ollama 문서는 서버 설정에 disable_ollama_cloud: true를 지정하거나 환경 변수 OLLAMA_NO_CLOUD=1을 설정한 뒤 재시작하도록 안내합니다. 이렇게 하면 Ollama의 클라우드 모델과 웹 검색이 비활성화됩니다. 다만 Ollama에 연결된 다른 앱의 네트워크 동작까지 제어하지는 않습니다. Ollama의 로컬 전용 설정

LM Studio는 Qwen, Mistral, Gemma 등의 모델을 다운로드하고 불러와 대화할 수 있는 데스크톱 인터페이스를 제공합니다. 제작사가 학습된 모델 파일을 공개한 모델을 오픈 웨이트 모델이라고 합니다. 다만 각 모델의 라이선스는 서로 다릅니다. LM Studio 시작 가이드

모델 파일을 다운로드한 뒤에는 LM Studio에서 오프라인 채팅, 로컬 문서 처리, 로컬 서버를 사용할 수 있습니다. 현재 개인정보 처리방침은 선택적으로 사용하는 클라우드 모델과 웹 검색을 별도로 설명합니다. 로컬 모델을 쓰는 경로를 의도적으로 선택해야 합니다. 오프라인 사용 안내, LM Studio의 현재 개인정보 처리방침

LM Studio는 최소 16 GB RAM을 권장하며, 플랫폼별 추가 요구 사항도 있습니다. 이는 출발점일 뿐, 모든 모델을 실행할 수 있다는 보장은 아닙니다. Intel Mac은 지원하지 않고 Apple Silicon은 지원합니다. Windows의 x64 빌드는 CPU의 AVX2 지원이 필요합니다. LM Studio 시스템 요구 사항

기기에 맞는 모델은 로컬 LLM 선택 가이드를, 실행 도구와 배포 방식, 업무용 라이선스 비교는 Ollama와 LM Studio 비교를 참고하면 됩니다. 실행 도구와 모델은 각각 별도로 선택해야 합니다.

직원 기기에서 처리하기 좋은 업무는 무엇인가요?

입력 자료가 이미 기기에 있고, 작업 범위가 명확하며, 사람이 결과를 확인할 수 있을 때 로컬 처리의 이점이 가장 큽니다. 기기의 처리 범위를 넘거나 중앙에서 운영하는 서비스가 필요한 업무에는 클라우드가 여전히 유용한 선택지입니다. 표의 마지막 열은 도입 시 고려할 판단 기준이며, 측정된 품질 순위가 아닙니다.

음성 전사에서는 음성 인식과 요약을 구분해야 합니다. 텍스트를 다시 쓰는 언어 모델이 곧바로 오디오를 전사할 수 있는 것은 아닙니다. Google의 Basic 음성 모드는 기존 방식의 온디바이스 음성 모델을 사용하고, Advanced 모드는 생성형 모델을 사용합니다. 그다음 변환된 텍스트를 저장할지, 어디에 저장할지는 애플리케이션이 결정해야 합니다. Google Speech Recognition 가이드

비용을 따질 때는 유료 클라우드 API 호출과 호출별 클라우드 추론 요금이 없는 무료 로컬 실행을 비교하되, 하드웨어, 전력, 관리 비용까지 함께 계산해야 합니다. Google의 로컬 API 비용 안내

AI PC 사양보다 먼저 따져야 할 한계

먼저 부딪히는 한계는 모델 실행 여부보다 한 번에 얼마나 많은 작업을 담을 수 있느냐인 경우가 많습니다. 컨텍스트 윈도는 지시 사항, 원본 자료, 대화 기록, 답변을 담는 모델의 작업 공간입니다.

Apple의 현재 가이드에 따르면 기본 온디바이스 모델의 컨텍스트 윈도는 4,096토큰입니다. 토큰은 텍스트를 나눈 단위이며, 입력과 출력이 이 한도를 함께 사용합니다. 가이드는 실제 모델의 용량을 조회하는 방법도 제공합니다. 긴 문서를 처리할 때 컨텍스트 윈도 전체를 원문에만 쓸 수 있다고 가정해서는 안 됩니다. Apple 컨텍스트 윈도 가이드

문서를 여러 조각으로 나누면 한도 안에 넣는 데 도움이 되지만, 애플리케이션은 조각 사이의 관계를 유지해야 합니다. 한 절에 마감일이 나오고 다른 절에 예외 조건이 있다면, 각 부분을 따로 요약한 결과만으로는 그 관계를 놓칠 수 있습니다. 모든 조각에서 텍스트가 생성됐는지만 보지 말고, 최종 업무 결과를 평가해야 합니다.

데스크톱 모델도 가중치와 작업 상태를 저장할 메모리가 필요합니다. 컨텍스트가 길어지거나 요청을 동시에 처리하면 메모리 사용량이 늘어날 수 있습니다. 한 사람이 답장 초안을 작성할 때 잘 작동하는 모델이라도, 다른 애플리케이션을 켜 둔 채 백그라운드 일괄 작업을 돌리는 데는 적합하지 않을 수 있습니다. Ollama 메모리 및 동시 처리 가이드

따라서 직원들이 실제로 사용하는 대표적인 기기에서 평소 쓰는 애플리케이션을 실행한 상태로 테스트해야 합니다. 실제 업무를 기준으로 완료 시간, 요청 실패, 수정에 드는 수고, 배터리 영향을 기록해야 합니다. 앞서 제시한 하드웨어 기준 중 어느 것도 모든 상황에서 통하는 속도나 품질을 보장하지는 않습니다.

개인정보 보호와 규정 준수는 앱 전체를 봐야 합니다

온디바이스 처리는 업무 과정에서 클라우드 전송 단계를 없앨 수 있지만, 그 업무의 규정 준수를 보증하지는 않습니다. 선택한 기능이 무엇을 전송하고, 저장하고, 노출하는지 확인한 뒤 담당 보안 및 컴플라이언스 책임자가 해당 구성을 평가하도록 해야 합니다.

제조사의 설명에는 각각 적용 범위가 있습니다.

• Apple: 온디바이스 모델은 연결 없이 작동할 수 있지만, Foundation Models는 클라우드 제공업체와 온라인 데이터를 가져오는 툴도 지원합니다. 앱이 선택한 모델과 툴을 기록해야 합니다. Apple의 지원 모델 안내
• Android의 Google: ML Kit는 입력 데이터와 출력을 Google에 보내지 않는다고 설명합니다. 다만 성능 및 사용 지표는 전송하며, 업데이트를 위해 서버에 접속합니다. 콘텐츠를 로컬에서 처리한다고 해서 네트워크 활동이 전혀 없는 것은 아닙니다. ML Kit 개인정보 관련 약관
• Chrome의 Google: Google은 로컬 모델 사용 시 Google이나 제3자에게 데이터를 보내지 않으며, 최초 모델 다운로드에 네트워크가 필요하다고 설명합니다. 그렇다고 API를 사용하는 웹사이트가 자체 코드로 데이터를 전송하지 못하는 것은 아닙니다. Chrome 모델 요구 사항
• Microsoft: Live Captions의 처리는 로컬에서 이루어지지만, 다른 기능의 처리 범위는 다릅니다. Paint Cocreator는 NPU에서 이미지를 생성하면서 클라우드 안전 서비스를 이용합니다. Microsoft는 악용 방지를 위해 프롬프트와 식별자를 수집한다고 설명합니다. 결과가 로컬에서 생성됐다는 사실만으로 기능 전체가 로컬에서 작동한다고 볼 수는 없습니다. Cocreator 개인정보 보호 안내
• 데스크톱 실행 도구: Ollama의 로컬 개인정보 보호 설명은 로컬 실행 시 적용됩니다. LM Studio의 현재 정책은 로컬 처리와 선택적 클라우드 서비스를 구분합니다. 클라우드 제공업체가 요청을 보관하지 않겠다고 약속해도, 요청이 기기를 떠났다는 사실은 달라지지 않습니다. Ollama, LM Studio

직원이 민감한 자료를 사용하기 전에 원본의 위치, 선택한 모델, 외부로 나가는 요청, 로컬 기록, 백업, 삭제 동작을 문서화해야 합니다. 확장 기능과 연결된 툴도 함께 검토해야 합니다. 콘텐츠를 로컬에 둔다는 것은 직원 기기에 사본을 보관한다는 뜻이기도 하므로, 기기 암호화와 접근 통제도 중요합니다.

온디바이스 AI에서 과장된 기대는 무엇인가요?

노트북이 클라우드 AI 서비스를 대체할 수 있다는 주장은 연산 수행과 서비스 운영 체계를 혼동한 것입니다. 추론을 기기로 옮기더라도 모델 업데이트, 지원, 권한 관리, 평가, 실패한 작업을 처리하는 방법은 여전히 필요할 수 있습니다.

NPU는 호환되는 작업에 유용합니다. 그렇다고 모든 모델의 호환성을 보장하지는 않습니다. 오프라인으로 답을 생성하면 추론 중 네트워크를 왕복할 필요는 없어지지만, 그것만으로 답이 더 빨리 나온다고 입증되지는 않습니다. 로컬에 설치된 모델도 없는 내용을 지어내거나 부적절한 결과를 만들 수 있습니다.

반대쪽 주장도 도움이 되지 않습니다. 로컬 모델이 쓸모 있으려면 가장 뛰어난 클라우드 모델을 대체해야 하는 것은 아닙니다. 믿고 쓸 수 있는 초안 수정이나 짧은 요약 기능만으로도 도입할 이유는 충분할 수 있습니다. 판단 기준은 그 특정 기능이 직원들이 가진 기기에서 조직의 수용 기준을 충족하느냐입니다.

지금 온디바이스 AI를 도입해야 할 사람은 누구인가요?

업무 운영 담당자는 범위가 명확하고 검토 가능한 작업부터 시범 적용하고, 구매 담당자는 하드웨어 필요성이 입증될 때까지 기다리는 편이 좋습니다. 역할에 따라 다음에 할 일이 다릅니다.

업무 운영 담당자라면 내부 인수인계 메모를 간결하게 정리하는 것처럼 반복되는 작업부터 시작하는 것이 좋습니다. 기대하는 결과가 분명한 입력을 고르고, 사람이 출력을 승인하도록 해야 합니다. 비교할 수 있도록 원본 자료도 유지해야 합니다.

개발자나 제품 책임자라면 배포된 기기와 구현할 기능에 맞을 때 플랫폼 API를 활용하면 됩니다. 모델 가용성 확인, 입력 한도, 수동 대체 경로를 제품의 일부로 구현해야 합니다. 여러 종류의 스마트폰을 함께 쓰는 조직에서는 해당 기능을 실행할 수 없는 기기 사용자도 업무를 처리할 수 있어야 합니다.

구매 담당자나 CTO라면 교체 기기를 주문하기 전에 기존 장비 현황부터 파악해야 합니다. 특정 Windows NPU 기능을 도입할 근거와 데스크톱 모델 실행 도구를 도입할 근거를 구분해야 합니다. 대표적인 기기에서 선택한 업무의 유용성이 확인된 뒤 하드웨어 지출을 승인해야 합니다.

백그라운드 추론을 금지하는 API로 무인 대량 처리를 하려는 경우나, 로컬 모델이 요구 품질을 충족하지 못하는 경우에는 도입을 보류해야 합니다. 승인된 클라우드 업무 방식이 이미 필요를 충족하고 로컬 실행이 개인정보 보호, 연결성, 운영 측면에서 실질적인 이점을 더하지 못한다면 현재 구성을 유지하는 것이 좋습니다.

월요일에 시작할 일: 업무 하나를 시범 적용하기

1. 1

   대상 업무와 데이터 전송 범위 정하기

   인수인계 메모를 더 짧은 초안으로 바꾸는 것처럼 구체적인 입력과 출력을 정합니다. 대체 경로를 설정하기 전에 그 콘텐츠가 조금이라도 기기 밖으로 나가도 되는지 결정해야 합니다.

2. 2

   실제 기기와 모델 준비 상태 확인하기

   관련 운영체제, 칩, 메모리, 저장 공간의 여유 용량을 파악합니다. 필요한 모델을 다운로드하고 사용 가능 여부를 확인한 뒤, 지원되지 않는 기기에는 수동 처리 경로를 마련해야 합니다.

3. 3

   출력 품질과 네트워크 동작을 따로 평가하기

   승인된 샘플 자료를 사용합니다. 결과를 원본과 비교하고, 외부로 나가는 트래픽을 점검하고, 준비한 업무를 오프라인에서 반복합니다. 오프라인 작동 여부는 그 경로를 판단하는 유용한 근거지만, 연결된 상태의 앱이 데이터를 전혀 업로드하지 않는다는 증거는 아닙니다.

4. 4

   적용 범위를 넓힐지 결정하기

   완료 시간과 함께 실패 사례, 수정에 드는 수고, 지원 부담을 기록합니다. 업무에 도움이 되고 데이터 처리 방식이 정한 범위와 일치할 때만 확대해야 합니다. 클라우드 사용을 허용하는 곳에서는 접근 여부를 명확하게 드러내야 합니다.

실무에 도움이 되는 AI 도입 판단은 뉴스레터 구독을 통해 더 살펴볼 수 있습니다.