MSA 기반 서비스 가용성 99.97% 달성, LLM 파인튜닝, API 게이트웨이 최적화 — 에이닷 슈퍼앱의 핵심을 직접 설계한 합격자의 전략
K.M.(26, 컴퓨터공학)은 오픈소스 LLM(Mistral-7B)을 QLoRA로 파인튜닝하고, Milvus 벡터 DB 기반 RAG 파이프라인을 구축해 대화 환각률을 13%p 개선(87%→96% 정확도)한 프로젝트를 자소서의 핵심에 두었습니다. 또한 Nginx API 게이트웨이와 Redis 캐시 레이어를 도입해 평균 응답속도를 380ms에서 210ms로 45% 단축하고, Kubernetes 기반 MSA 전환으로 서비스 가용성 99.97%를 달성한 경험을 수치와 함께 제시했습니다. SKT 에이닷이 직면한 '환각 현상 개선'과 '슈퍼앱 안정성 확보'라는 두 가지 핵심 과제를 정확히 겨냥한 전략이 합격의 결정적 요인이었습니다. K.M.은 에이닷을 2주 이상 직접 사용하며 통화 요약 오류, 응답 지연 케이스를 직접 기록했고, 이를 자소서 문제 정의의 근거로 삼아 면접에서 "현장 감각 있는 개발자"라는 평가를 받았습니다.
| 기술 영역 | 기준값 (개선 전) | 달성값 | 핵심 방법 |
|---|---|---|---|
| LLM 응답 정확도 (환각률) | 87% 정확도 (환각률 13%) | 96% 정확도 | Milvus RAG + 하이브리드 검색 |
| API p99 응답속도 | 380ms | 210ms (45% 단축) | Redis 캐시 + Nginx 게이트웨이 |
| 서비스 가용성 (SLA) | 99.8% (모놀리식) | 99.97% | Kubernetes MSA + Istio Circuit Breaker |
| 배포 주기 (CI/CD) | 14일 (수동) | 2일 (자동화) | GitHub Actions + ArgoCD |
| LLM 파인튜닝 perplexity | 24.8 (베이스 모델) | 11.3 (QLoRA 8 epoch) | Mistral-7B QLoRA, 4-bit 양자화 |
| 서버 부하 (API 서버 CPU) | 72% (피크) | 43% (30% 절감) | Rate Limiting + 캐시 적중률 67% |
| 장애 전파율 (MSA) | 단일 장애 시 전체 영향 | 97% 차단 | Istio Circuit Breaker + Retry 정책 |
[사용자 질의 입력]
│
▼
[API Gateway (Nginx + Rate Limiting: 토큰 버킷 알고리즘)]
│
├─── [Redis Cache] ─── Cache Hit (적중률 67%) ──▶ 즉시 응답 (p99: 210ms)
│ ▲
│ Cache Miss │
▼ │
[Query Encoder (Sentence-BERT, multilingual)] │
│ │
▼ │
[Vector DB (Milvus 2.x)] │
├─ Dense Search (코사인 유사도 임계값 ≥ 0.78) │
└─ BM25 Sparse Search (하이브리드 결합) │
│ │
▼ │
[Retrieved Context (Top-K=5, 512 tokens/chunk, 64 overlap)] │
│ │
▼ │
[LLM (Mistral-7B, QLoRA 파인튜닝, perplexity 11.3)] │
└─ 컨텍스트 기반 생성 → 정확도 96%, 환각률 4% │
│ │
▼ │
[응답 생성] ─── Cache Write (TTL: 3,600s) ───────────────────────┘
│
▼
[MLOps 모니터링 (Prometheus + Grafana)]
├─ 정확도 드리프트 감지 → 자동 재학습 트리거
└─ A/B 테스트 프레임워크 (RAG vs 비-RAG 비교)
SKT의 AI 피라미드는 3층 구조로 이루어져 있습니다. 하단의 인프라 레이어(AI 데이터센터, GPU 클러스터, SAPEON 반도체)가 기반을 지탱하고, 중간의 AIX 레이어(통신망 AI 자동화, 네트워크 최적화, 기업 AI 전환)가 핵심 사업을 고도화하며, 최상단의 AI 서비스 레이어(에이닷, A.Biz, T우주, 엑스칼리버)가 소비자·기업 고객에게 가치를 직접 전달합니다. 서비스 개발 직무는 이 피라미드의 최상단에서 인프라와 AIX 레이어의 성과를 사용자가 체감할 수 있는 제품으로 연결하는 역할을 합니다.
| AI 피라미드 레이어 | 핵심 구성 요소 | 서비스 개발 직무와의 연결 |
|---|---|---|
| AI 서비스 (최상단) | 에이닷(슈퍼앱), A.Biz(B2B), T우주(구독), 엑스칼리버(반려동물 AI) | 직접 개발·운영 — API 설계, 기능 개발, 품질 개선, 배포 자동화 |
| AIX (중간) | 통신망 AI 최적화, 마케팅 자동화, 기업용 AI 솔루션 | 에이닷 AIX 연동 API 개발, 데이터 파이프라인 구축 |
| AI 인프라 (하단) | AI 데이터센터, SAPEON 반도체, 앤스로픽·람다 파트너십 | LLM API 연동, 모델 서빙 최적화, 추론 비용 절감 |
에이닷은 SKT의 AI 피라미드 전략의 소비자 접점 최전선입니다. 2024년 아이폰 통화 녹음·요약 기능 출시로 주목받았고, 2026년 현재 슈퍼앱(일정·검색·쇼핑·헬스 통합)으로 확장 중입니다. 서비스 개발 직무에서는 이 슈퍼앱의 핵심 기능을 구현하고 안정적으로 운영하는 역량이 요구됩니다. 특히 에이닷이 직면한 '환각 현상 개선'은 RAG 아키텍처와 LLM 파인튜닝의 실제 적용 역량을 직접 검증하는 과제입니다.
| 에이닷 기능 | 기술 과제 | 서비스 개발 직무 기여 포인트 |
|---|---|---|
| 통화 녹음·요약 | STT 정확도, 화자 분리, 요약 환각 최소화 | RAG 기반 요약 파이프라인, STT-LLM 연동 API |
| A.Biz (B2B 에이전트) | 멀티-테넌트 격리, 엔터프라이즈 SLA, ERP 연동 | 멀티-테넌트 MSA, API 게이트웨이 기업 인증 |
| 개인화 추천 | 실시간 사용자 프로필, 피처 스토어, 지연 최소화 | 추천 API 설계, Redis 기반 실시간 피처 제공 |
| 슈퍼앱 통합 검색 | 멀티-소스 검색(웹·내부 데이터·앱 통합), 정확도 | 하이브리드 검색 API, 벡터 DB + BM25 연동 |
SKT는 도이치텔레콤, 싱텔, 소프트뱅크와 통신사 AI 얼라이언스를 구축하고 앤스로픽·람다와의 AI 파트너십을 통해 글로벌 AI 컴퍼니로 진화하고 있습니다. 서비스 개발 직무는 이 글로벌 확장의 기술적 기반을 담당합니다. 다국어 LLM 지원(Cross-lingual API), 글로벌 레이턴시 최적화(CDN 전략, 엣지 컴퓨팅), GDPR·개인정보 규제 대응 아키텍처 설계가 향후 중요 역량이 될 것입니다. 자소서에 글로벌 확장 관점에서의 기술 기여 방향을 포함하면 추가 차별화가 됩니다.
| 글로벌 파트너십 | 역할 | 서비스 개발 직무 연결 |
|---|---|---|
| 앤스로픽 (Anthropic) | Claude LLM API 통합, AI 안전성 연구 | Claude API 연동 게이트웨이, 프롬프트 보안 설계 |
| 도이치텔레콤 | 유럽 통신사 AI 서비스 공동 개발 | 다국어 지원 API, GDPR 준수 데이터 처리 |
| 싱텔 | 아시아 통신사 AI 얼라이언스 | 멀티-리전 배포, 아시아 CDN 최적화 |
| 람다 (Lambda Labs) | GPU 인프라, LLM 훈련·추론 가속 | GPU 효율 추론 API, 배치 처리 최적화 |
에이닷 슈퍼앱은 통화 녹음·요약, 검색, 일정, 쇼핑, A.Biz 에이전트 등 다양한 기능을 하나의 앱에서 제공합니다. 이를 안정적으로 운영하기 위해서는 MSA(마이크로서비스 아키텍처) 기반 설계가 필수입니다. 각 기능을 독립적인 서비스로 분리해 장애 격리, 독립 배포, 기술 스택 자유화를 실현합니다. 서비스 개발 직무 지원자는 이 MSA 구조에서 자신의 역할을 명확히 정의해야 합니다.
[에이닷 슈퍼앱 MSA 아키텍처 개요]
[클라이언트 (iOS/Android)]
│
▼
[API Gateway (Nginx + Kong)]
├─ 인증/인가 (OAuth 2.0 + JWT)
├─ Rate Limiting (토큰 버킷)
└─ 라우팅 (서비스별 엔드포인트)
│
┌────────────────────┼────────────────────┐
▼ ▼ ▼
[통화 서비스] [AI 추천 서비스] [A.Biz 서비스]
STT + 요약 개인화 추천 B2B 에이전트
LLM RAG 파이프라인 피처 스토어 멀티-테넌트 격리
│ │ │
└────────────────────┼────────────────────┘
│
[공유 인프라 레이어]
├─ Kafka (비동기 이벤트 스트리밍)
├─ Redis (세션·캐시·실시간 피처)
├─ PostgreSQL / MongoDB (데이터)
└─ Milvus (벡터 DB — RAG 검색)
│
[관측성 스택]
├─ Prometheus + Grafana (메트릭)
├─ ELK Stack (로그 집계)
└─ Jaeger (분산 추적)
에이닷의 응답속도는 사용자 만족도와 직결됩니다. LLM 추론은 기본적으로 수백ms~수초의 지연이 발생하므로, 서비스 개발 직무에서는 이를 최소화하는 기술적 전략이 핵심입니다. K.M.이 자소서에서 제시한 45% 응답속도 개선(380ms→210ms)은 다음과 같은 복합 전략의 결과였습니다.
| 최적화 기법 | 효과 | 구현 방법 |
|---|---|---|
| Redis 응답 캐싱 | 동일/유사 쿼리 재계산 제거 | TTL 3,600s, 캐시 적중률 67% |
| KV Cache (LLM 내부) | Key-Value 어텐션 재사용 | 동일 시스템 프롬프트 캐시 유지 |
| INT4 양자화 (Quantization) | 모델 크기 4배 축소, 추론 속도 향상 | AWQ/GPTQ 양자화, 정확도 손실 <1% |
| 스트리밍 응답 (SSE) | 첫 토큰 응답(TTFT) 체감 속도 향상 | Server-Sent Events, 청크 단위 스트리밍 |
| 비동기 RAG 리트리버 | 검색과 LLM 추론 병렬 처리 | asyncio + aiohttp, 선제적 컨텍스트 로드 |
| 로드 밸런싱 (Round Robin) | 서버 과부하 방지, p99 안정화 | Nginx Upstream, 가중치 기반 분산 |
서비스 개발 직무에서 단순히 기능을 구현하는 것으로 끝나지 않습니다. 구현한 기능이 실제로 사용자 경험을 개선했는지 A/B 테스트를 통해 검증해야 합니다. K.M.은 RAG 파이프라인 적용 전후를 A/B 테스트로 비교해 정확도 개선 효과를 정량적으로 증명했습니다. 이 역량이 자소서에서 가장 강력한 차별화 포인트 중 하나가 됐습니다.
[에이닷 기능 A/B 테스트 설계 (RAG 적용 효과 검증)] 실험 가설: "RAG 도입 시 통화 요약 정확도가 87%에서 90% 이상으로 향상될 것이다" 대조군 (Control): LLM 단독 응답 (N=3,000 사용자, 2주간) 실험군 (Treatment): RAG 적용 응답 (N=3,000 사용자, 2주간) 측정 지표: ├─ 1차 지표: 요약 정확도 (사용자 평가, 5점 척도) ├─ 2차 지표: 요약 수정률 (사용자가 요약을 편집하는 비율) └─ 가드레일 지표: 응답 지연 (p99 기준, 허용 범위 300ms 이하) 결과 분석: ├─ 대조군 정확도: 87.2% (±1.8%) ├─ 실험군 정확도: 96.1% (±1.2%) ├─ 통계적 유의성: p = 0.003 (95% CI, 양측 검정) └─ 결론: 유의미한 개선 → 전체 사용자 RAG 적용 릴리즈
SKT 자소서에서 기술 역량만큼 중요한 것이 SKMS(SK Management System)와의 정렬입니다. SUPEX(Super Excellent) 추구, VWBE(자발적이고 의욕적인 두뇌활용), 패기(도전적 목표 설정과 실행)의 3가지 핵심 가치를 서비스 개발 경험에 자연스럽게 녹여야 합니다.
SKT 서비스 개발 직무에 입사한 뒤의 커리어 경로를 이해하고 자소서에 장기적인 기여 방향을 포함하면 "단기 취업용 지원"이 아닌 "진정한 커리어 비전"을 가진 지원자로 평가받습니다. 기술적 성장 경로와 비즈니스 기여 방향 모두를 명시해야 합니다.
| 시기 | 역할 중심 | 기술 성장 목표 | 비즈니스 기여 |
|---|---|---|---|
| 입사 1년차 | 에이닷 특정 기능 개발 담당 (예: 통화 요약 API) | SKT 기술 스택 숙달, 코드 리뷰 역량, 온콜 대응 | 기존 환각률 추가 5%p 개선, 응답속도 200ms 이하 |
| 3년차 | 에이닷 주요 기능 리드 또는 A.Biz 백엔드 리드 | 시스템 설계 역량, MLOps 전문화, 팀 멘토링 | A.Biz 기업 고객 10개사 온보딩, SLA 99.99% 달성 |
| 5년차 | AI 서비스 레이어 아키텍트 또는 테크리드 | 글로벌 확장 아키텍처, 멀티-클라우드 전략 | 도이치텔레콤·싱텔 공동 AI 서비스 출시 기술 지원 |
엑스칼리버는 SKT의 반려동물 X-ray AI 서비스로, 미국 베톨로지(Vetology)를 통해 글로벌 진출 중입니다. SaaS 형태로 수익화하는 AI 의료 진단 플랫폼이며, 에이닷과는 별개의 AI 서비스 레이어 제품입니다. 서비스 개발 직무에서는 엑스칼리버의 API 서버 안정성, 의료 데이터 보안(HIPAA 준수), 진단 AI 모델의 서빙 최적화를 담당할 수 있습니다. AI 의료 서비스에 관심 있는 지원자는 에이닷과 함께 엑스칼리버를 장기 기여 방향으로 언급하면 차별화가 됩니다.
SKT 서비스 개발 직무 자소서를 제출하기 전, 아래 체크리스트를 통해 핵심 요소가 모두 포함됐는지 확인하세요. K.M.이 합격 후 후배들을 위해 정리한 실전 체크리스트입니다.
| 체크 항목 | 확인 기준 | 점수 (자가 평가) |
|---|---|---|
| 에이닷 실제 사용 경험 (최소 2주) | 통화 녹음·요약·검색 기능 직접 테스트, 오류 케이스 기록 | 직접 확인 여부 |
| RAG 또는 LLM 파인튜닝 수치 포함 | 정확도 개선율, perplexity, 응답속도 수치 명시 | 수치 있음/없음 |
| API 설계·최적화 경험 | 응답속도, 가용성, Rate Limiting, 캐시 전략 수치 포함 | 수치 있음/없음 |
| SKT AI 피라미드 연결 | "AI 서비스 레이어 → 에이닷" 명시적 연결 | 포함/미포함 |
| 이프랜드 미언급 확인 | 2025년 3월 서비스 종료 — 절대 언급 금지 | 미언급 확인 |
| A.Biz 또는 T우주 연결 | B2B 확장 또는 구독 모델 기여 방향 포함 | 포함/미포함 |
| SKMS 가치관 (SUPEX·VWBE·패기) | 기술 경험에 자연스럽게 녹인 서술 | 자연스러움 여부 |
| 실패 케이스 분석 포함 | RAG 실패 케이스, MSA 장애 경험 등 실패 분석 포함 | 포함/미포함 |
| 자소서 항목 | 권장 분량 | 반드시 포함할 키워드 | 피해야 할 표현 |
|---|---|---|---|
| 지원 동기 | 200~250자 | 에이닷, AI 피라미드, 글로벌 AI 컴퍼니, 구체적 기능명 | "AI가 미래다", "SKT를 동경한다", 이프랜드 |
| 핵심 기술 경험 | 300~400자 | RAG/LLM/MSA + 구체적 수치 (%, ms, 가용성) | 기술 스택 나열만, 수치 없는 성과 |
| 협업 경험 | 200~250자 | PM·디자이너·데이터 협업, 의사소통 방법, 갈등 해결 | "팀워크가 중요하다는 것을 배웠습니다" |
| 성장 계획 | 150~200자 | 에이닷 기여 방향, A.Biz, 글로벌 확장, 3~5년 목표 | "열심히 하겠습니다", "배우고 싶습니다" |
1차 서류 합격 후 기술 면접을 대비해 K.M.이 실제로 받은 질문과 합격 답변을 공유합니다. 단순 암기보다 각 질문의 의도를 이해하고 자신의 경험을 연결하는 것이 중요합니다.
K.M.이 합격하기까지 걸린 준비 기간은 약 3개월이었습니다. 각 단계에서 어떤 활동을 했는지 구체적인 타임라인을 공유합니다. 이 로드맵을 참고해 자신의 준비 계획을 세우세요.
| 기간 | 핵심 활동 | 산출물 | 주의사항 |
|---|---|---|---|
| D-90 ~ D-60 | 에이닷 집중 사용 (2주 이상), 오류 케이스 기록, 경쟁사 비교 분석 | 에이닷 페인 포인트 메모 10개 이상 | 이프랜드 등 서비스 현황 확인 — 종료 서비스 파악 |
| D-60 ~ D-30 | RAG 프로젝트 마무리 또는 보완, 성과 수치 정리, GitHub 정비 | RAG 정확도·API 속도 수치 문서화 | 수치가 없으면 직접 측정·기록하는 작업 필요 |
| D-30 ~ D-14 | 자소서 초안 작성, AI 피라미드 연결 스토리 구성, 커리어던 AI 진단 | 자소서 초안 3개 항목 완성 | 기술 스택 나열 버전과 스토리 버전 비교 후 스토리 채택 |
| D-14 ~ D-7 | 자소서 피드백 반영, 수치 재확인, SKMS 가치관 연결 점검 | 완성본 자소서 | 이프랜드 미언급, 에이닷·A.Biz 연결 최종 확인 |
| 서류 합격 후 | 기술 면접 준비: MSA·RAG·MLOps 심화, 실패 케이스 분석 준비 | 면접 Q&A 뱅크 자신만의 버전 작성 | "RAG 4% 실패 케이스 분류"처럼 약점 질문 대비 |