AI 에이전트, 이제는 모델보다 운영 인프라가 중요합니다
- 7월 14일
- 4분 분량
생성형 AI의 경쟁이 ‘어떤 모델을 사용할 것인가’에서 ‘에이전트를 어떻게 운영할 것인가’로 이동하고 있습니다. 최근에는 AI 에이전트가 사내 데이터와 API를 조회하고, MCP(Model Context Protocol) 도구를 호출하며, 다른 에이전트와 협업하는 구조가 빠르게 확산되고 있습니다. 파일럿에서는 하나의 모델과 몇 개의 도구만 연결하면 되지만, 실제 업무에 적용하면 인증, 트래픽, 비용, 장애, 감사 추적이라는 운영 문제가 곧 나타납니다.
프로덕션 에이전트는 하나의 애플리케이션입니다
Google Cloud의 단일 에이전트 참조 아키텍처는 사용자 화면, 에이전트 런타임, 모델, MCP 기반 데이터 소스와 도구를 각각의 구성 요소로 구분합니다. 즉 에이전트는 단순한 챗봇이 아니라 여러 시스템을 호출하고 결과를 조합하는 분산 애플리케이션입니다. 모델 응답이 정상이어도 API 지연, 도구 권한 오류, 재시도 루프 또는 외부 서비스 장애로 전체 업무가 실패할 수 있습니다.
따라서 운영 준비 여부는 모델 정확도만으로 판단하기 어렵습니다. 최소한 다음 항목을 함께 설계해야 합니다.
- 어떤 사용자와 에이전트가 어떤 모델·API·MCP 도구에 접근할 수 있는가
- 요청량과 토큰 사용량, 모델별 비용을 어떻게 제한할 것인가
- 모델이나 도구 장애 시 우회, 재시도, 중단 기준은 무엇인가
- 한 번의 업무가 어떤 모델 호출과 도구 실행을 거쳤는지 추적할 수 있는가
- 프롬프트, 응답, 로그에 포함된 민감정보를 어떻게 보호할 것인가
관측성이 있어야 운영할 수 있습니다
OpenTelemetry는 2026년 GenAI 관측성 자료에서 에이전트 호출을 상위 스팬으로, 각 모델 호출과 도구 실행을 하위 스팬으로 추적하는 방식을 설명합니다. 지연시간뿐 아니라 입력·출력 토큰, 종료 이유, 도구 실행 경로를 표준 속성으로 수집하면 “느리다”는 현상을 모델, API, 도구 또는 재시도 문제로 나누어 분석할 수 있습니다. 이는 성능 개선뿐 아니라 비용 통제와 장애 대응에도 필요합니다.
API와 AI 트래픽을 하나의 운영 체계로
기업은 AI 연결을 애플리케이션마다 개별 구현하기보다 공통 제어 지점을 두는 것이 효과적입니다. Kong AI Gateway는 다양한 모델에 대한 라우팅, 인증정보 관리, 정책 적용, 토큰 기반 사용량과 비용 관측 기능을 제공합니다. litis API Creator는 내부·외부 시스템을 API로 연계하고 변환하는 계층으로 활용할 수 있으며, litis API Monitoring은 Metrics·Trace·Logs와 API 트랜잭션 흐름을 통합해 장애 원인을 분석하도록 지원합니다.
AI 에이전트의 가치는 데모가 아니라 반복 가능한 업무 성과에서 만들어집니다. 이제 기업의 질문은 “에이전트를 만들 수 있는가”를 넘어 “누가 사용하고, 무엇에 접근하며, 얼마나 안정적으로 동작하는지 설명할 수 있는가”가 되어야 합니다. 연결, 보안, 비용, 관측성을 처음부터 함께 설계할 때 AI 에이전트를 지속 가능한 AX 인프라로 발전시킬 수 있습니다.
출처 및 참고자료
Google Cloud, Single-agent AI system using ADK and Cloud Run: https://docs.cloud.google.com/architecture/single-agent-ai-system-adk-cloud-run
Google Cloud, Build and deploy an AI agent to Cloud Run using ADK: https://docs.cloud.google.com/run/docs/ai/build-and-deploy-ai-agents/deploy-adk-agent
OpenTelemetry, Inside the LLM Call: GenAI Observability with OpenTelemetry: https://opentelemetry.io/blog/2026/genai-observability/
Kong AI Gateway 공식 문서: https://developer.konghq.com/ai-gateway/
litis API Creator: https://www.litis.co.kr/litis-api-creator
litis API Monitoring: https://www.litis.co.kr/litis-api-monitoring
리티스(Litis) 소개 (www.litis.co.kr)
리티스는 API Platform, AI Gateway, API Security, API Monitoring 기술을 기반으로 기업과 공공기관의 AX를 지원하는 엔터프라이즈 플랫폼 전문 기업입니다. API 설계와 시스템 연계부터 AI 트래픽 거버넌스, 보안, 관측성 및 운영 기술지원까지 통합 제공합니다.
AI Agents Need Operations Infrastructure, Not Just Better Models
The generative AI conversation is shifting from model selection to operational readiness. AI agents now retrieve enterprise data, call APIs and Model Context Protocol (MCP) tools, and collaborate with other agents. A pilot may connect one model to a handful of tools, but production use quickly introduces authentication, traffic control, cost, reliability, and audit requirements.
A production agent is a distributed application
Google Cloud's reference architecture separates the user interface, agent runtime, model, and MCP-based tools and data sources. This is an important distinction: an agent is not merely a chatbot. It is a distributed application that interprets intent, calls external systems, and combines their results. Even when the model responds correctly, an API timeout, authorization failure, retry loop, or tool outage can still break the business process.
Operational readiness therefore requires more than model evaluation. Enterprises should define who or what may access each model, API, and MCP tool; how request and token consumption will be limited; when retries must stop; how individual model and tool calls will be traced; and how sensitive information in prompts, responses, and logs will be protected.
Observability turns symptoms into causes
OpenTelemetry's 2026 GenAI observability guidance describes tracing an agent invocation as a parent span with child spans for model calls and tool executions. Standard attributes can capture latency, input and output tokens, finish reasons, and execution paths. This makes it possible to determine whether a slow request was caused by the model, an API, a tool, or repeated retries. The same telemetry also supports cost control and incident response.
One operating model for API and AI traffic
Rather than implementing controls separately in every application, enterprises can establish a shared control point. Kong AI Gateway supports model routing, credential management, policy enforcement, and visibility into token usage, latency, and cost. litis API Creator can provide the integration and transformation layer for internal and external systems, while litis API Monitoring brings metrics, traces, logs, and API transaction flows together for root-cause analysis.
The value of an AI agent is created through repeatable business outcomes, not a successful demo. The key questions are no longer limited to whether an agent can be built. Organizations must also explain who uses it, what it can access, how much it costs, and how reliably it performs. Designing connectivity, security, cost controls, and observability together is what turns an agent into sustainable AI Transformation (AX) infrastructure.
References
Google Cloud, Single-agent AI system using ADK and Cloud Run: https://docs.cloud.google.com/architecture/single-agent-ai-system-adk-cloud-run
Google Cloud, Build and deploy an AI agent to Cloud Run using ADK: https://docs.cloud.google.com/run/docs/ai/build-and-deploy-ai-agents/deploy-adk-agent
OpenTelemetry, Inside the LLM Call: GenAI Observability with OpenTelemetry: https://opentelemetry.io/blog/2026/genai-observability/
Kong AI Gateway documentation: https://developer.konghq.com/ai-gateway/
litis API Creator: https://www.litis.co.kr/litis-api-creator
litis API Monitoring: https://www.litis.co.kr/litis-api-monitoring
About Litis (www.litis.co.kr)
Litis is an enterprise platform company supporting public- and private-sector AI Transformation through API platforms, AI gateways, API security, and API monitoring. LITIS provides integrated expertise across API design, system integration, AI traffic governance, security, observability, and operational support.
