IT 팁과 노하우/AI-AX

사내 AI 서비스 도입 검토 후기

잌쿠 2026. 6. 18. 01:00

최근 생성형 AI 활용이 급격하게 증가하면서 회사에서도 공식적인 AI 서비스 도입을 검토하게 되었습니다.
사실 AI 도입을 검토하게 된 가장 큰 이유는 AI 활용이 늘어서가 아니라, 이미 구성원들이 각자 AI를 사용하고 있었기 때문입니다.

개인 ChatGPT 계정을 사용하거나, Claude를 결제하여 사용하거나, 무료 AI 서비스를 사용하는 사례가 점점 늘어나고 있었습니다.
업무 생산성 측면에서는 긍정적인 부분이 있었지만, IT 관리 관점에서는 고민이 생길 수밖에 없었습니다.

  • 회사 데이터는 어디까지 입력되고 있는가?
  • 어떤 AI 서비스를 사용하고 있는가?
  • 비용은 얼마나 발생하고 있는가?
  • 보안 정책은 어떻게 적용할 것인가?

결국 AI 사용을 막는 것이 아니라, 회사가 관리할 수 있는 환경 안으로 가져오는 것이 필요하다고 판단했습니다.

 

검토 대상

초기 검토 대상은 크게 세 가지였습니다.

  1. ChatGPT Team
  2. Claude Team
  3. LibreChat + API

 

LibreChat + API를 가장 먼저 검토한 이유

기술적인 관점에서는 사실 LibreChat + API 구성이 가장 매력적이었습니다.

특히 이미 GPU 서버를 운영하고 있는 환경에서는 더욱 그렇습니다.

이 구성의 장점은 명확합니다.

  • 다양한 AI 모델 연동 가능
  • OpenAI, Claude, Gemini 선택 가능
  • 내부 LLM 연동 가능
  • 종량제 기반 비용 관리 가능
  • 유휴 GPU 자원 활용 가능

특히 사용량 기반 과금 구조는 좌석 기반 라이선스보다 비용 효율성이 높을 가능성이 있습니다.

하지만 검토를 진행하면서 다른 문제가 보이기 시작했습니다.

 

 

기술보다 운영이 더 큰 문제였습니다

LibreChat 자체는 훌륭한 솔루션입니다. 하지만 서비스가 되려면 누군가는 운영해야 합니다.

예를 들어 다음과 같은 업무가 발생합니다.

  • 서버 구축
  • 계정 관리
  • 장애 대응
  • API Key 관리
  • 모델 변경
  • 사용량 모니터링
  • 보안 정책 적용

초기에는 단순해 보이지만 사용자가 늘어나면 내부 서비스 하나를 운영하는 것과 크게 다르지 않게 됩니다.

결국 저희는 다음과 같은 질문을 하게 되었습니다.

우리는 AI 서비스를 운영해야 하는 회사인가?

아니면 AI를 활용해야 하는 회사인가?

현재 조직 규모와 운영 인력을 고려했을 때, AI 플랫폼 운영까지 담당하기에는 부담이 있다고 판단했습니다.
만약 소규모 조직이었다면 충분히 고려할 수 있었겠지만, 현재 상황에서는 적합하지 않다고 결론 내렸습니다.

 

 

ChatGPT Team

다음 후보는 ChatGPT Team이었습니다.

가장 대중적인 서비스이고 이미 많은 구성원들이 사용 경험을 가지고 있다는 장점이 있습니다.

실제로 도입 장벽도 가장 낮은 편입니다. 

다만 사내 사용자 의견을 수집하면서 흥미로운 결과가 나왔습니다.

보고서 작성, 기획 문서 작성, 회의 정리 등의 업무에서는 Claude를 선호하는 의견이 생각보다 많았습니다.

물론 ChatGPT가 부족하다는 의미는 아닙니다. 

다만 현재 저희 조직에서 AI를 활용하려는 주요 업무 영역에서는 Claude에 대한 만족도가 더 높게 나타났습니다.

 

결국 Claude Team

최종적으로 Claude Team을 선택하게 된 이유는 단순했습니다.

사용자 만족도가 가장 높았기 때문입니다. 물론 비용은 가장 큰 고민거리였습니다.

실제로 Claude Team은 전사 도입 시 적지 않은 비용이 발생합니다.

하지만 도구의 가격보다 실제 활용도를 우선적으로 고려하기로 했습니다.

결국 구성원들이 가장 잘 사용하는 도구가 가장 좋은 도구라고 판단했습니다.

 

정책 수립을 위한, 단계적 도입

서비스를 결정한 후에도 바로 전사 도입을 진행하지는 않았습니다.
AI 도입보다 중요한 것은 AI 운영 정책이라고 생각했기 때문입니다.

AI는 라이선스를 구매한다고 끝나는 것이 아닙니다.
어떻게 사용할 것인지에 대한 기준이 필요합니다.

 

1단계 : 파일럿 운영

우선 제한된 인원만 사용하도록 구성했습니다.

목적은 다음과 같습니다.

  • 실제 사용량 확인
  • 크레딧 소모량 분석
  • 업무 활용도 측정
  • 사용 패턴 확인

예상과 실제 사용량은 다를 수 있기 때문에 먼저 데이터를 확보하는 것이 중요하다고 판단했습니다.

 

2단계 : 운영 정책 정비

파일럿 운영 결과를 바탕으로 운영 정책을 수립할 예정입니다.

예를 들어 다음과 같은 내용입니다.

  • 공통 정책 활용 범위 설정
  • 사용량 한도/초과 대응 방안
  • 사용 지침 공지 / 활용가이드 계획
  • MCP 연결 범위/스킬 필 플러그인 확대 방안
  • Premium Seat 운영 기준
  • 쉐도우AI 차단 방안

현재도 사용량 제한으로 인해 업무가 중단되는 사례가 일부 발생하고 있어 Premium Seat 운영 방안도 함께 검토하고 있습니다.

 

3단계 : 전사 확대

정책이 정리되고 운영 경험이 확보되면 전사 확대를 검토할 계획입니다.

중요한 것은 라이선스 수를 늘리는 것이 아니라, 실제 업무 생산성을 높이는 것입니다.

 

마무리

이번 검토를 진행하면서 느낀 점은 AI 도입은 단순히 어떤 모델이 더 좋은가의 문제가 아니라는 것입니다.

기업 입장에서는 다음 요소들이 더 중요할 수 있습니다.

  • 운영 가능한가
  • 비용을 예측할 수 있는가
  • 보안 정책을 적용할 수 있는가
  • 사용 현황을 관리할 수 있는가

저희는 이러한 기준을 바탕으로 Claude Team을 선택하게 되었으며, 현재는 단계적인 운영 정책 수립을 통해 전사 확대를 준비하고 있습니다.

혹시 비슷한 고민을 하고 계신다면, 처음부터 전사 도입보다는 작은 파일럿 그룹부터 시작해 보는 것을 추천드립니다.

저작자표시 비영리 변경금지 (새창열림)