Kong AI Gateway
에이전트 기반 인프라와 프로덕션 환경에 바로 적용 가능한
AI 워크플로우를 구축할 수 있습니다.
Kong AI Gateway는 LLM과 MCP 리소스를 단일 API 플랫폼에서 노출·보호·거버넌스할 수 있도록 설계된 AI 연결 계층입니다.
멀티 LLM 라우팅, 보안 가드레일, AI 관측성, 비용 제어를 하나의 운영 모델로 통합합니다.
#AI Connectivity
#Multi-LLM
#MCP Ready
#Guardrails
#Cost Control
Unified AI Connectivity
LLM과 MCP를 단일 API 플랫폼으로 연결
Kong AI Gateway는 AI 워크로드를 별도 사일로가 아닌 공통 게이트웨이 계층에서 운영하는 데 초점을 둡니다. 여러 LLM 제공자와 MCP 리소스를 같은 정책 모델로 연결해 AI 인프라를 단순화할 수 있습니다.
-
OpenAI, Azure AI, AWS Bedrock, Vertex AI 등 다양한 AI 제공자를 단일 운영 계층으로 연결
-
LLM과 MCP 리소스를 동일한 API 플랫폼에서 노출하고 거버넌스 적용
-
AI 프로젝트별로 흩어진 보안·정책·운영 방식을 공통 표준으로 통합
Traffic Control & Policies
AI 트래픽을 제어하고 고급 LLM 정책을 집행
Kong AI Gateway는 단순 프록시가 아니라 AI 요청 흐름을 제어하는 정책 레이어입니다. 의미 기반 캐싱, 동적 라우팅, 로드 밸런싱, 장애 조치, 접근 계층 제어를 함께 적용해 안정성과 비용 효율을 높입니다.
-
semantic caching, routing, load balancing으로 응답 효율과 비용을 동시에 최적화
-
프롬프트 보호, PII 제거, 요청 제어 등 AI 특화 정책을 게이트웨이에서 일관 적용
-
다중 모델·다중 공급자 환경에서도 서비스 연속성과 정책 일관성 유지
MCP Production Ready
MCP 서버를 프로덕션 수준으로 운영
MCP 서버를 자동 생성하고, 보안 기본값을 적용하며, 툴·워크플로우·프롬프트 상호작용을 운영 관점에서 추적할 수 있도록 설계되어 있습니다.
-
MCP authentication을 중앙 정책으로 적용해 서버 접근을 통제
-
보안과 안정성 기본값이 반영된 MCP 서버 생성 흐름 지원
-
툴 호출과 워크플로우 상호작용을 운영 레이어에서 일관되게 관리
Guardrails & RAG
가드레일과 RAG 운영을
게이트웨이 계층으로 단순화
Kong은 AI 애플리케이션마다 안전장치와 RAG 파이프라인을 각각 구현하는 대신, 공통 운영 계층에서 이를 표준화하는 방향을 제시합니다. 이를 통해 품질 관리와 변경 통제가 쉬워집니다.
-
프롬프트 템플릿 적용, 유해 콘텐츠 필터링, 민감정보 제거 등 레이어드 가드레일 제공
-
RAG 파이프라인 정책과 흐름을 중앙에서 관리해 운영 표준화
-
애플리케이션별 중복 구현을 줄이고 AI 품질 관리와 컴플라이언스를 강화
Observability & Cost Control
AI 사용량과 비용을 가시화하고 통제
Kong AI Gateway는 요청 수, 모델 사용량, 토큰 소비, 비용 흐름을 운영 지표로 연결합니다. 목적에 맞는 모델로 자동 라우팅하고 중복 호출을 줄여 AI 프로젝트의 비용 효율을 높일 수 있습니다.
-
사전 구성된 대시보드로 AI 요청, 모델별 사용량, 토큰 흐름을 확인
-
비용 기반 쿼터와 모델 라우팅으로 예산 초과를 예방
-
중복 LLM 호출 감소와 공급자 전환 전략으로 비용과 가용성을 함께 관리