AI 거버넌스를 실행으로 잇는 AI CoE: 운영 모델·역할·설립 헌장

AI 거버넌스와 실행을 조율하는 AI 전담 조직, AI CoE는 현업 부서가 책임 소재를 명확히 하면서 실질적으로 도움이 되는 AI를 구현하도록 도울 때 존재 이유가 생깁니다. 직원 100~2,000명 규모의 기업이라면 먼저 함께 조율해야 할 의사결정이 무엇인지 살펴봐야 합니다. 담당자 두 명이 그 일을 감당할 수 있다면 부서를 신설하기 전에 AI 데스크부터 운영합니다.

필요한 것은 실제로 작동하는 운영 합의입니다. 어떤 문제에 집중할지, 어떤 기준을 적용할지, 공통 툴은 누가 제공할지, 출시 후에도 누가 책임질지를 정해야 합니다. 보고 체계에 조직 하나를 추가한다고 이 질문에 답이 생기지는 않습니다.

2026년 10월 26일 확인: 아래 조직 운영 지침은 Microsoft, IBM, NIST의 현행 발행 자료와 대조해 확인했습니다. 헌장, 인력 배치 권고, 90일 추진 순서는 운영 방식에 관한 제안이며, 업계 인력 기준이나 납기를 보장하는 일정이 아닙니다.

AI CoE는 어떤 일을 하는 조직일까요?

AI 전담 조직(AI Center of Excellence), 즉 AI CoE는 기업 전반에서 인공지능을 활용할 수 있도록 전문성과 공통 서비스를 조율합니다. 사업 우선순위를 구현, 평가, 표준, 교육과 연결합니다. 권한의 근거는 이름에 붙은 ‘Excellence’가 아니라 경영진이 승인한 임무와 권한 범위입니다.

교육용 온실을 떠올리면 이해하기 쉽습니다. 온실은 공동 장비와 재배 방법, 전문가의 도움을 제공하지만, 각 화단을 맡은 정원사는 여전히 자기 화단을 돌봐야 합니다. CoE가 고객 지원 답변 초안 작성에 검증된 방식을 제공하더라도, 고객에게 보내는 답변의 정확성과 검토 업무는 고객 지원 책임자가 책임집니다.

Microsoft의 CoE 가이드는 제안 접수, 파일럿, 표준, 역량, 재사용 가능한 자산, 성과 보고를 다룹니다. 이 글의 독자에게는 그 일을 네 가지 책임으로 묶어 보는 방식이 적합합니다.

현업 책임자와 함께 활용 과제를 선정합니다

접수한 과제의 우선순위 목록을 관리합니다. 활용 과제란 특정 업무 흐름 안의 구체적인 작업입니다. 예를 들어 승인된 도움말 문서를 바탕으로 고객 지원 답변 초안을 작성하는 일입니다. ‘고객 서비스에 AI 활용하기’는 범위가 너무 넓어 담당자를 정하거나 성과를 평가하기 어렵습니다.

과제마다 책임자, 현재 성과의 기준선, 관찰할 수 있는 결과를 요구합니다. 데이터에 접근할 수 있고 사람이 결과를 확인할 수 있는 업무를 우선합니다. 자주 발생하고 실수를 바로잡을 수 있는 작업이, 시연은 인상적이지만 일상 업무로 이어질 길이 없는 과제보다 첫 시도로 적합합니다.

우선순위는 기업의 AI 도입 전략에서 나옵니다. CoE는 이를 예산이 배정된 과제로 구체화하고 의존 관계를 드러냅니다. 합의 없이 별도의 사업 전략을 만들어서는 안 됩니다.

현장에서 적용할 수 있는 기준을 만듭니다

사용이 허용되는 데이터, 접근 규칙, 검토 요건, 변경 기록, 시스템을 중단해야 하는 조건을 정합니다. 이 기준을 실무에 바로 쓸 수 있는 기본 설정과 짧은 체크리스트로 만듭니다.

고객 지원 답변 초안을 작성한다면 다음과 같은 규칙을 둘 수 있습니다. 승인된 지식 자료를 사용하고, 검토자에게 출처를 보여주며, 발송하는 모든 답변을 고객 지원 담당자가 승인하게 합니다. ‘AI를 책임 있게 사용하라’는 포괄적인 지침만으로는 담당자가 무엇을 해야 하는지 알 수 없습니다.

기술 규칙은 직원이 일상 업무에서 무엇을 해도 되는지 안내하는 AI 사용 정책과 연결합니다.

공통 툴과 평가 체계를 책임집니다

승인된 접근 수단, 재사용 가능한 연동 기능, 시스템 목록, 업무 흐름 예시, 평가 실행 방법 등 공통으로 필요한 기능마다 책임자를 둡니다. 평가는 대표적인 사례를 통해 전체 업무 흐름이 얼마나 잘 작동하는지 반복해서 확인하는 절차입니다.

공통 평가 방법은 CoE가 책임집니다. 각 업무에서 어떤 결과를 수용할 수 있는지는 현업 책임자가 정의합니다. 같은 기반 모델을 사용하더라도 고객 지원 답변용 테스트 세트로 채용 업무의 적합성까지 입증할 수는 없습니다.

실제 담당 업무를 중심으로 교육합니다

고객 지원 검토자에게는 근거 없는 주장을 찾아내는 방법을, 엔지니어에게는 권한 경계를 시험하는 방법을, 관리자에게는 단순한 사용량과 유용한 성과를 구분하는 방법을 가르칩니다. 참여자가 직접 작업을 수행하고 실패했을 때 어떻게 대응하는지 보여주게 합니다.

프롬프트 워크숍으로 툴을 소개할 수는 있습니다. 하지만 그것만으로 중요한 영향을 미치는 업무 흐름을 안전하게 운영할 역량이 입증되지는 않습니다.

중앙 집중형·허브 앤드 스포크형·분산형, 어떻게 선택할까요?

구현과 운영을 어디에 맡겨야 안정적으로 책임질 수 있는지를 기준으로 모델을 선택합니다. 직원 수만으로 판단하기는 어렵습니다. 큰 기업도 AI 전문성이 부족할 수 있고, 작은 소프트웨어 기업도 역량 있는 제품 팀을 갖출 수 있습니다.

명칭의 구분은 자료마다 겹칩니다. Microsoft의 운영 모델 가이드는 중앙 집중형, 하이브리드형, 분산형이라는 용어를 쓰며, 중앙 플랫폼을 두고 구현은 분산하는 방식도 허브 앤드 스포크형으로 설명합니다. IBM의 CoE 설명은 경계를 조금 다르게 나눕니다. 업무를 배분할 때는 아래 정의를 기준으로 삼습니다.

중앙 집중형은 부족한 전문성을 의도적으로 한곳에 모을 때 효과적입니다. 결과가 실제 업무에 도움이 되는지는 여전히 현업 책임자가 판단합니다. 작은 기술 조직이 보이지 않는 대기실로 변하지 않도록 접수된 요청의 대기열을 공개합니다.

여러 부서가 같은 기반을 필요로 하기 시작하면 허브 앤드 스포크형을 기본안으로 검토할 만합니다. 가상의 직원 700명 기업에서는 중앙 조직이 접근 수단과 평가 툴을 관리하고, 고객 지원 부서는 답변 품질을, 재무 부서는 자체 문서 업무 흐름을 책임질 수 있습니다. 연동 장애는 누가 고치고 각 서비스는 누가 일시 중단하는지 명시해야 합니다.

분산형에는 부서의 의욕뿐 아니라 실제 운영 역량이 필요합니다. 가상의 직원 1,800명 기업이라면 통상적인 배포 결정을 위임하기 전에 참여 부서마다 책임자, 테스트 기록, 모니터링, 사고 대응 체계를 제시하도록 요구합니다. 이 기준을 충족하지 못하는 부서는 더 많은 지원을 받는 방식으로 운영합니다.

업무 흐름에 따라 서로 다른 모델을 적용할 수 있습니다. 민감한 공통 서비스는 중앙에서 운영하면서, 역량 있는 부서에는 범위가 한정된 내부 어시스턴트를 맡길 수 있습니다. 권한 위임은 팀과 업무에 관한 근거에 따라 결정해야 합니다. 회사 전체가 한꺼번에 다음 단계로 넘어가는 졸업식처럼 다룰 일이 아닙니다.

AI CoE와 AI 거버넌스 위원회는 무엇이 다를까요?

AI CoE는 구현 역량을 제공하고, AI 거버넌스 위원회는 위임받은 정책 및 위험 관리 권한을 행사합니다. 함께 일하며 일부 구성원이 겸임할 수도 있지만, 각각 어떤 결정을 내리는지는 구분할 수 있어야 합니다.

위원회는 기업의 위험 허용 수준, 금지된 사용 방식, 예외 처리 절차를 승인할 수 있습니다. CoE는 그 결정을 시스템 설정, 평가 요건, 교육, 운영 지원으로 구체화합니다. AI 거버넌스 프레임워크에 이 관계를 명시해야 합니다.

다음과 같이 권한을 나누는 방안을 제안합니다.

위원회가 승인된 내부 초안 작성 업무를 매번 검토할 필요는 없습니다. 마찬가지로 CoE도 시스템을 만들었다는 이유만으로 중대한 위험을 수용해서는 안 됩니다. 누가 예외를 승인할 수 있는지, 예외의 범위는 어디까지인지, 언제 만료되는지 기록합니다.

NIST의 AI RMF Core는 GOVERN 2.1에서 책임의 문서화를, GOVERN 2.3에서 AI 위험에 관한 의사결정에 대한 경영진의 책임을 요구합니다. 새 위원회를 만드는지보다 이런 요건을 충족하는지가 더 중요합니다. 소관이 명확하다면 기존 경영진 회의체나 위험 관리 회의체가 그 권한을 맡아도 됩니다.

채용보다 먼저 정해야 할 역할과 의사결정 권한

직책을 만들기 전에 필요한 책임부터 빠짐없이 배정합니다. 전담 업무가 필요한 역할도 있고, 기존 전문가의 도움을 안정적으로 받을 수 있으면 되는 역할도 있습니다. 역할 목록은 조직도 한 줄마다 한 사람씩 채용하라는 권고가 아닙니다.

경영진 후원자: 합의된 우선순위에 예산을 배정하고, 부서 간 갈등을 조정하며, 의사결정 권한자를 지정합니다. COO는 운영 방식의 변화를, CTO는 공통 기술 역량 확보를 후원할 수 있습니다. 두 사람 모두 참여하더라도 최종 책임을 지는 후원자는 한 명으로 지정합니다.

CoE 리더: 조직의 임무와 권한 범위, 제안 접수 절차, 공통 백로그, 보고를 책임집니다. 헌장에서 부여한 권한 안에서 책임자가 없거나 준비가 부족한 제안의 추진을 보류할 수 있어야 합니다.

현업 업무 책임자: 기준선을 제공하고, 수용할 수 있는 결과를 정의하며, 검토자를 배정하고, 운영 성과를 책임집니다. 고객 지원 답변 초안 작성이라면 모델을 가장 잘 아는 사람이 아니라 고객 지원 품질을 책임지는 리더가 이 역할을 맡습니다.

기술 및 평가 책임자: 공통 연동 기능, 접근 통제, 반복 가능한 테스트, 변경 기록을 관리합니다. 사안의 중요성상 독립적인 검토가 필요하다면 시스템을 수정할 수 있는 권한과 사업 성과를 승인하는 권한을 분리합니다.

데이터 및 위험 관리 협력자: 데이터 소유자는 해당 정보가 목적에 적합하고 그 용도로 사용이 허용되는지 판단합니다. 보안, 개인정보 보호, 법무 및 그 밖의 관련 전문가는 각자 소관의 사안을 평가합니다. CoE는 이들의 의견을 조율할 뿐, 그 권한을 자동으로 넘겨받지는 않습니다.

활용 지원 책임자와 부서별 확산 담당자: 승인된 업무 흐름을 교육 내용으로 만들고, 사용자가 겪는 문제를 수집하며, 지침을 갱신합니다. 확산 담당자에게 필요한 것은 명예직 같은 직함이 아니라 업무 시간이 보장되는 배정과 기술 지원을 받을 경로입니다.

실제 운영에 투입하는 모든 업무 흐름에는 사고 신고를 받고, 서비스를 중단할 수 있으며, 복구를 조율할 담당자도 지정합니다. AWS의 CoE 가이드는 공식적인 사고 대응 책임과 조치를 포함합니다. 파일럿이 일상 업무로 전환되기 전에 이를 운영 합의에 반영합니다.

두 명이 맡는 AI 데스크로 충분한 때는 언제일까요?

기존 전문가의 지원을 받으면서 지정된 실무 책임자 두 명이 조율 업무를 감당할 수 있다면 AI 데스크를 운영합니다. 이는 시작 단계의 운영 방식에 관한 제안입니다. 어디에나 적용되는 최소 인원 기준도, 두 사람이 모든 AI 시스템을 운영할 수 있다는 약속도 아닙니다.

운영 또는 제품 책임자에게 제안 접수, 업무 흐름 설계, 교육, 측정을 맡깁니다. 기술 책임자에게는 승인된 접근 수단, 연동, 평가, 지원을 맡깁니다. 경영진 후원자를 지정하고 기존 데이터, 보안, 법무 책임자의 도움을 받을 수 있게 합니다. 새 전담 직위를 만들지 않고 기존 업무 시간 일부를 배정해 시작할 수도 있지만, 각 관리자가 그 시간을 보장해야 합니다.

사람의 감독하에 초안을 작성하는 업무 흐름을 시험하는 가상의 직원 150명 서비스 기업이라면, 이 정도로도 공통 실무 방식을 마련하고 더 큰 조직이 필요한지 알아볼 수 있습니다. 두 책임자가 업무를 조율하되, 결과물 검토는 해당 부서가 계속 맡습니다.

다음 조건을 충족하는 동안은 데스크 형태를 유지합니다.

• 진행 중인 업무량이 적절히 지원하고 모니터링할 수 있는 수준입니다.
• 부서들이 상당한 맞춤 개발 없이 공통 툴을 사용할 수 있습니다.
• 기존 책임자들이 데이터와 위험 관련 질문에 신속히 답할 수 있습니다.
• 명시적으로 배정한 업무 여력 안에서 일상적인 지원과 평가를 수행할 수 있습니다.

반복되는 팀 간 의존 관계, 해결되지 않는 요청, 운영 지원 수요가 그 여력을 넘어설 때 확장합니다.

영향이 큰 업무는 필요한 인력과 역량을 별도로 판단해야 합니다. 사람의 권리나 안전에 영향을 미치는 시스템을 만드는 작은 기업이라면, 폭넓은 활용 지원 프로그램보다 전문가의 감독이 먼저 필요할 수 있습니다.

한 페이지로 작성하는 AI CoE 설립·운영 헌장

아래 간결한 헌장을 출발점으로 삼아 대괄호 안을 실제 이름과 이행 약속으로 채웁니다. 한 페이지에 담도록 설계했으므로 세부 사항을 입력한 뒤 지면 구성을 확인합니다. 범위를 좁게 유지하면 두 명으로 운영하는 데스크에도 같은 헌장을 쓸 수 있습니다.

AI CoE 설립·운영 헌장: [회사명]

후원자와 운영 기간. 후원자: [이름]. CoE 리더: [이름]. 시행일: [날짜]. 검토일: [날짜, 최초 검토는 90일 차]. 배정 인력과 업무 시간: [확정한 투입 계획].

임무. 적절한 AI 활용을 통해 [사업 부문]의 [구체적인 성과] 개선을 돕습니다. 활용 과제의 우선순위를 정하고, 공통 표준과 툴을 관리하며, 평가를 조율하고, 팀들이 승인된 업무 흐름을 운영하도록 교육합니다.

범위. [업무 흐름, 사용자, 환경]을 대상으로 합니다. [범위가 한정된 파일럿]부터 시작합니다. [금지된 사용 방식과 이 임무의 범위를 벗어난 업무]는 제외합니다. 각 프로세스와 결과에 대한 책임은 현업 책임자에게 있습니다.

의사결정 권한. 후원자는 우선순위와 투입 자원을 승인합니다. CoE 리더는 제안 접수를 관리하고 정책 범위 안에서 지원할 기술 패턴을 승인합니다. 데이터 소유자는 제안된 데이터 사용 건마다 허용 여부를 결정합니다. 지정 서비스 책임자는 필요한 근거와 전문가 검토를 확인한 뒤 출시를 승인합니다. [위험 관리 권한자]는 예외 허용 여부와 만료 시점을 결정합니다. [운영 담당자]는 안전하지 않거나 장애가 발생한 서비스를 일시 중단할 수 있으며, [책임자]가 검토 후 재개를 승인합니다. 누구도 다른 책임자에게 요구되는 승인을 면제할 수 없습니다.

제안 접수. [양식/제출 위치]에 업무 흐름, 현업 책임자, 기준선, 기대 성과, 사용자, 데이터, 계획한 동작, 예상 가능한 피해, 평가 방법, 지원 책임자를 작성해 제출합니다. 매주 검토합니다. 진행, 준비, 상위 권한자 검토 요청, 중단 중 결정을 내리고 사유, 담당자, 다음 확인 날짜를 기록합니다. 해결되지 않는 우선순위 충돌은 후원자에게, 정책 예외는 위험 관리 권한자에게 상정합니다. 응답이 없다고 승인된 것은 아닙니다.

공통 서비스. 승인된 접근 수단, AI 사용 현황 목록, 재사용 가능한 패턴, 평가 방법, 교육 자료, 사고 대응 연락처를 [위치]에서 관리합니다. 자산마다 책임자와 검토일을 지정합니다. 업무별 수용 기준은 해당 현업 책임자가 정합니다.

측정 지표. 검토를 통과한 업무 결과, 품질 실패, 접수 후 결정까지 걸린 시간, 관리 중인 자산의 재사용, 사용자가 실제로 입증한 역량을 추적합니다. 파일럿마다 기준선, 목표, 근거 출처, 보고 책임자, 중단 조건을 기록합니다. 성과를 측정할 때 검토와 재작업도 포함합니다.

검토 주기와 인계. 제안은 매주 검토하고 후원자 검토는 매월 진행합니다. 일상 업무로 사용하기 전에 운영 책임, 모니터링, 사고 대응, 대체 절차를 확인합니다. 검토일에는 근거에 따라 이 임무의 범위를 확대하거나 수정하거나 종료합니다.

세부 절차는 헌장 밖에 두고 링크로 연결합니다. 업무 지침서 전체를 읽지 않아도 책임 소재를 둘러싼 이견을 해결할 수 있어야 합니다.

제안을 접수했다면 다음 행동을 결정해야 합니다

접수 절차는 책임자가 있는 다음 단계로 빠르게 이어져야 합니다. 우선 다음에 무엇을 할지 결정하는 데 필요한 정보를 모으고, 이후 업무가 미칠 영향에 비례해 더 깊이 있는 근거를 요청합니다.

AI 도입 준비도 평가로 제안된 작업과 데이터, 담당 인력을 살펴봅니다. 회사 전체의 AI 관심도를 점수로 매겨도 특정 업무 흐름의 준비가 끝났는지는 알 수 없습니다.

고객 지원 관리자가 승인된 도움말 문서로 답변 초안을 작성하자고 제안했다고 가정해 보겠습니다. 유용한 접수 기록에는 해당 관리자, 사용할 자료 모음, 검토자, 현재 처리 절차, 결과를 수용할 수 없게 만드는 오류가 명시되어 있습니다. 초안이 자동 발송되어서는 안 된다는 점도 적습니다.

자료 모음을 책임질 사람이 없다면 준비 단계로 보냅니다. 요청한 데이터 사용 방식이 정책 범위를 벗어난다면 상위 권한자 검토를 요청합니다. 책임자, 사용이 허용된 데이터, 검토 절차, 평가가 모두 준비되었을 때만 파일럿으로 진행합니다. 예상 편익이 투입할 업무를 정당화하지 못하거나 금지된 사용 방식이라면 중단합니다.

그럴듯한 예시를 생성하기 전에 파일럿의 수용 기준부터 정합니다. 고객 지원 답변 초안이라면 사실적 근거, 출처의 관련성, 부적절한 약속, 정보 공개, 수용 가능한 답변을 얻는 데 필요한 검토 노력을 평가합니다. 내용이 서로 충돌하는 문서나 지식 베이스로는 답할 수 없는 질문처럼 까다로운 사례도 포함합니다.

CoE는 이런 점검을 반복해서 수행할 수 있게 해야 합니다. 고객 지원 책임자는 실제 서비스 요건에 비추어 결과를 판단해야 합니다. 기술적으로 생성에 성공했더라도, 검토 시간이 원래 업무를 직접 하는 시간보다 길다면 사업 관점에서는 실패일 수 있습니다.

AI CoE, 첫 90일은 어떻게 운영할까요?

첫 90일은 운영 합의를 마련하고 범위를 한정한 파일럿 하나에서 근거를 수집하는 데 사용합니다. 일정은 검토 시점으로 받아들입니다. 수용 기준을 충족하지 못한 업무 흐름이 달력상 마지막 단계에 도달했다는 이유만으로 실제 운영에 투입될 수는 없습니다.

1. 1

   1-30일: 업무와 권한을 정합니다

   후원자와 실무 책임자를 지정합니다. 업무용 소프트웨어에 이미 포함된 AI 기능까지 기존 AI 사용 현황을 목록으로 정리합니다. 중복 업무, 불명확한 데이터 사용 권한, 지원 체계가 없는 서비스를 찾아냅니다.

   헌장에 합의하고 첫 업무 흐름의 운영 모델을 선택합니다. 기준선을 마련하고 접수 기록을 완성합니다. 승인된 사용 방식에 대한 지침, 제안 접수처, 사고 대응 연락처를 공개합니다.

   단계 종료 시 확인할 근거: 서명된 임무·권한 문서, 실제로 활용할 수 있는 목록, 지정된 현업 업무 책임자, 합의된 평가 계획입니다. 데이터 접근 문제가 해결되지 않았다면 다음 단계에서도 준비 작업을 이어갑니다.

2. 2

   31-60일: 범위를 한정한 업무 흐름을 시험합니다

   승인된 범위 안에서 파일럿을 진행합니다. 어떤 과정으로 결과가 나왔는지 설명할 수 있도록 관련 시스템 설정, 지시문, 원본 자료를 기록합니다. 결과물을 검토할 사람들을 교육합니다.

   일반적인 사례와 실패 사례를 합의된 기준에 따라 평가합니다. 결과물 품질과 함께 검토 시간 및 재작업을 기록합니다. 업무 흐름을 일시 중단하고 기존 절차로 돌아가는 연습도 합니다.

   단계 종료 시 확인할 근거: 검토를 마친 결과, 문제 기록, 교육받은 운영 담당자, 실제로 사용할 수 있는 대체 절차입니다. NIST AI RMF 가이드의 근거 관리 방법을 활용해 위험, 테스트, 의사결정을 연결합니다.

3. 3

   61-90일: 지속 여부를 결정하고 운영 책임을 배정합니다

   현업 업무 책임자와 필수 검토자가 계속 진행할지, 변경할지, 중단할지 결정하게 합니다. 사유를 기록합니다. 명확한 근거를 바탕으로 파일럿을 중단했다면 그것도 유용한 결정입니다.

   계속 운영하기로 했다면 모니터링, 지원, 변경 검토, 운영 종료 책임을 배정합니다. 재사용할 수 있는 부분만 관리자를 지정해 공개합니다. 다음 요청을 AI 데스크가 감당할 수 있는지, 아니면 CoE에 특정 인력이나 역량을 보강해야 하는지 판단합니다.

   단계 종료 시 확인할 근거: 문서화된 처리 결정, 계속 운영하는 업무에 대해 담당자가 수락한 운영 책임, 우선순위가 정해진 다음 백로그입니다. 근거가 뒷받침될 때만 범위를 확대합니다.

검토를 통과한 결과를 측정합니다

검토와 수정을 거친 뒤의 성과를 측정합니다. 생성된 초안 수만 세면 실제로 쓸 수 있게 만드는 데 필요한 작업이 가려집니다.

고객 지원 파일럿에서는 수용 가능한 답변이 나오기까지 걸린 시간을 기존 기준선과 비교하되, 검토와 재작업 시간도 포함합니다. 속도와 함께 품질을 확인해야 더 나쁜 답변을 빨리 보낸 업무 흐름이 성공으로 보이는 일을 막을 수 있습니다. 소규모 파일럿 결과는 해당 업무에서 얻은 근거로 다루고, 회사 전체의 생산성 추정치로 확대하지 않습니다.

CoE 자체의 지표와 개별 업무 흐름의 지표를 구분합니다.

• 의사결정 시간: 필요한 정보가 갖춰진 제안이 접수된 시점부터 결정이 기록될 때까지 걸린 시간의 중앙값입니다. 정보 누락으로 생긴 지연은 별도로 추적합니다.
• 품질: 파일럿 전에 합의한 기준에 비추어 수용할 수 없는 결과와 중대한 실패를 측정합니다. 평균 점수뿐 아니라 심각도도 기록합니다.
• 재사용: 관리 중인 공통 자산을 사용하는 업무 흐름을 확인합니다. 자산의 버전과 책임자가 명확해야 합니다.
• 역량: 사용자가 업무를 수행하고, 실패를 식별하며, 정해진 보고·대응 경로를 따를 수 있는지 확인합니다.

교육 참석 현황과 활성 계정 수는 도입 상태를 진단하는 데 도움이 될 수 있습니다. 하지만 업무가 개선되었다는 근거는 아닙니다. 절약한 업무 여력이 실제로 어떻게 쓰였는지 기업이 제시할 수 없다면, 추정 시간 절감분을 재무적 편익으로 환산하지 않습니다.

지금 추진해야 할 곳과 기다려도 되는 곳은 어디일까요?

조율 문제가 드러났다면 지금 움직입니다. 기존 책임 체계로 업무를 감당할 수 있다면 새 부서 신설은 기다립니다.

COO와 운영 리더: 팀들이 같은 일을 중복해서 하거나, 제안에 현업 책임자가 없거나, 어떤 파일럿을 계속해야 하는지 아무도 설명하지 못한다면 임무와 권한을 부여하고 후원합니다. 먼저 결정할 것은 어떤 성과가 중요하고 누가 그것을 책임지는지입니다.

CTO와 개발 담당자: 공통 접근 수단, 평가 방법, 운영 지원을 따로 관리하다 같은 문제가 반복된다면 중앙으로 모읍니다. 구현은 자신이 만든 시스템을 운영할 수 있는 팀에만 위임합니다.

구매 담당자와 조달 리더: 구매·계약 범위를 확대하기 전에 CoE를 통해 승인된 용도, 기술 요건, 운영 책임을 명확히 합니다. 구매 권한과 계약 검토는 공식적으로 재배정하지 않는 한 기존 담당자의 책임으로 남습니다.

승인된 프로세스를 이미 잘 운영하는 팀: 계속 사용합니다. CoE가 생겼다는 이유로 모든 툴을 교체하거나, 모든 결정을 재검토하거나, 이미 합의된 기준을 충족하는 업무 흐름을 이전할 필요는 없습니다.

AI CoE에 대한 기대, 어디까지가 과장일까요?

센터는 존재만으로 가치를 만들지 않습니다. 가능하게 만든 업무와 예방한 잘못된 결정이 그 가치를 결정합니다.

조직도가 커졌다고 성숙도가 높아지는 것은 아닙니다. 위원회 규모는 상당한데 장애가 난 업무 흐름을 복구할 책임자는 없을 수 있습니다. 회의체를 하나 더 만들기 전에 운영 담당자부터 정합니다.

툴이 승인되었다고 모든 사용 방식이 허용되는 것은 아닙니다. 내부 메모 초안 작성이 허용되었다고 같은 시스템으로 고객에게 약속하는 내용을 발송해도 되는 것은 아닙니다. 승인에는 목적, 데이터 범위, 허용되는 동작의 경계가 필요합니다.

공통 평가로 모든 업무의 적합성을 보증할 수는 없습니다. 재사용할 수 있는 부분은 방법과 인프라입니다. 분야별 사례, 피해, 수용 기준에는 여전히 현업 책임자의 판단이 필요합니다.

CoE가 영구적으로 구현 업무를 독점할 필요는 없습니다. 팀들이 역량을 입증하면 일상적인 업무는 각 팀으로 옮기고, 통합 관리가 유리한 서비스는 중앙에 유지합니다. 파일럿을 검토하듯 조직의 임무와 권한도 진지하게 검토합니다.

자주 묻는 질문

AI CoE란 무엇인가요?

AI CoE는 기업이 AI 활용 과제의 우선순위를 정하고, 표준을 수립하며, 공통 툴과 평가를 제공하고, 직원을 교육하도록 돕는 조율 기능입니다. 중앙에서 시스템을 구현할 수도 있고, 자체적으로 구축·운영하는 현업 팀을 지원할 수도 있습니다.

AI에 어떤 내용을 입력하거나 요청하면 안 되나요?

회사의 데이터 규칙에서 금지한 정보를 입력하거나, 승인된 범위를 벗어나는 동작을 시스템에 요청해서는 안 됩니다. 업무용 AI에 대해서는 CoE나 AI 데스크가 허용되는 용도를 공개하고, 판단이 불분명한 사례를 해당 데이터 또는 위험 관리 책임자에게 연결해야 합니다.

AI에는 어떤 위험이 있을까요?

업무 흐름에 따라 부정확한 결과, 민감한 정보 유출, 불공정한 대우, 권한 없는 동작 등의 위험이 있습니다. 특정 작업이 초래할 수 있는 영향을 파악한 뒤 통제 조치, 검토자, 복구 경로를 정합니다. 일반적인 위험 목록으로 이 평가를 대신할 수는 없습니다.

월요일에 바로 시작할 일

반복되는 업무 흐름 하나를 놓고 후원자, 운영 책임자, 기술 책임자가 함께 모입니다. 헌장의 임무와 의사결정 권한을 작성하고, 결과에 책임질 사람을 지정하며, 어떤 근거가 나오면 중단할지 적습니다. 이 구성원들이 합의된 범위를 관리할 수 있다면 AI 데스크로 시작하고, 실제로 확인한 업무량에 따라 확장을 결정합니다.

AI를 실제 기업 운영에 적용하는 실무 가이드를 받아보려면 뉴스레터를 구독하세요.