1. [서론] “클라우드면 다 된다”가 끝난 이유
요즘 인프라 이야기를 들으면 단어가 너무 많아요. 에이전틱 AI, 소버린 클라우드, CXL, DPU, 800G, NVMe-oF, Wasm…
그런데 핵심은 의외로 단순합니다.
- AI가 인프라를 ‘사용’하는 수준을 넘어, 인프라가 AI를 ‘전제’로 재설계되는 시대로 바뀌고 있어요.
- 그 과정에서 기업은 3가지를 동시에 만족해야 합니다.
- AI 자율성(운영 자동화) 2) 데이터 주권(규제/국가/산업 통제) 3) 하이브리드 복원력(장애·비용·성능 균형)
이 글은 복잡한 용어를 “현장에서 의사결정하는 방식”으로 풀어드립니다. 읽고 나면 어떤 워크로드를 어디에 두고(퍼블릭/프라이빗/소버린), 무엇부터 투자해야 하는지 정리될 거예요.
2. [본론] 2025–2035 인프라 변화를 지배하는 3개의 축
(1) AI 자율성: “사람이 운영하는 인프라 → AI가 운영을 돕는 인프라 → AI가 운영을 ‘수행’하는 인프라”
이 흐름은 ‘옵스 자동화’의 끝판왕이라고 보시면 됩니다. 장애 감지 → 원인 추정 → 조치 실행을 점점 자동으로 처리하는 방향이죠.
- Gartner는 에이전틱 AI가 일상 업무 의사결정의 일부를 자율적으로 수행하는 방향으로 간다고 전망합니다. (가트너)
- Cisco도 AgenticOps(에이전틱 운영) 관점에서 “사람 개입을 줄이고, 자동 조치 비중을 늘리는 운영 모델”을 강조합니다. (Cisco)
비유:
예전 인프라는 “운전자가 매번 핸들을 돌리는 수동 운전”이었다면, 지금은 “차선 유지/자동 제동이 들어간 반자율”, 앞으로는 “목적지를 주면 알아서 가는 자율주행”으로 가는 흐름이에요.
(2) 데이터 주권: “데이터는 단순 자산이 아니라 ‘관할’의 문제”
데이터 주권은 한 줄로 정리하면 이거예요.
“우리 데이터는 어느 나라/어느 규제/어느 통제권 아래에 있어야 하는가?”
- Gartner는 ‘지오패트리에이션(Geopatriation)’ 흐름과 함께, 2026년까지 조직의 절반이 지오패트리에이션 전략을 도입할 수 있다고 언급합니다. (가트너)
- 또한 “디지털 주권” 측면에서, 2030년까지 대기업 75%가 주권 전략을 채택할 가능성을 제시합니다. (가트너)
비유:
“클라우드에 올린다”는 게 단순히 “창고에 넣는다”가 아니라, ‘어느 나라에 있는 창고에 넣을지’가 기업 리스크(규제·분쟁·제재)에 직결되는 상황이에요.
(3) 하이브리드 복원력: “하이브리드는 과도기가 아니라 ‘최종 표준’”
하이브리드가 뜨는 이유는 기술 유행이 아니라 현실적인 손익/리스크 계산 때문입니다.
- Broadcom(VMware 관련 보고서 인용) 조사에서는 기업의 69%가 클라우드에서 온프레미스/프라이빗으로 워크로드를 되돌리는(또는 검토) 흐름을 언급합니다. (VMware Blogs)
- Gartner는 2028년까지 대기업 70%가 하이브리드 컴퓨팅을 채택(2023년 25%에서 증가)할 것으로 봅니다. (가트너)
[CASE 분류] 어디에 무엇을 두는 게 맞나?
- [CASE A: 변동 폭이 큰 서비스/글로벌 트래픽] → 퍼블릭 클라우드 유리
- [CASE B: 규제·감사·데이터 위치가 핵심] → 소버린/프라이빗(온프레미스 포함) 유리
- [CASE C: 지연시간·핵심 DB·레거시 연동] → 온프레미스/프라이빗 유리
- [CASE D: AI 학습/추론 + 비용 최적화] → “GPU는 특정 구간에 집중, 데이터는 계층화, 네트워크는 백엔드 최적화”가 정답
아래 표는 단순화한 비교입니다(원문보다 “결정 기준” 위주).
| 구분 | 퍼블릭 클라우드 | 프라이빗(온프레미스 포함) | 소버린 클라우드 |
|---|---|---|---|
| 한 줄 정의 | 빠르게 늘리고 줄이는 곳 | 내가 전부 통제하는 곳 | 규제/관할을 보장한 클라우드 |
| 강점 | 민첩성/확장성 | 통제/지연시간/커스터마이징 | 규제 준수/데이터 위치 통제 |
| 주 사용처 | 신규 서비스, 글로벌 | 핵심 DB, 레거시 연동 | 공공/금융/기간산업 등 |
3. 서버 아키텍처: CPU 원툴 시대 종료, “이기종(가속) + 메모리 중심”으로
(1) DPU: CPU가 하던 ‘잡무’를 전담하는 인프라 전용 가속기
DPU는 네트워크/스토리지/보안 같은 “인프라 처리”를 CPU에서 떼어내는 장치로 이해하면 쉬워요.
- 데이터센터에서는 네트워크·스토리지·보안이 CPU 코어를 최대 30%까지 잡아먹을 수 있다는 지적이 오래전부터 있어 왔고(‘인프라 세금’), 이를 줄이려는 시도가 DPU 확산과 맞물립니다. (Ultra Ethernet Consortium)
현장 해석:
AI 워크로드가 늘수록 “애플리케이션에 CPU를 더 주고 싶다”는 욕구가 커집니다. 그래서 DPU가 CPU 여유분을 되찾는 역할을 해요.
(2) CXL: “메모리를 서버마다 따로 쓰지 말고, 풀(pool)로 묶자”
CXL은 메모리 병목을 줄이기 위해 CPU/GPU/가속기 사이의 메모리 공유·풀링을 가능하게 하는 방향으로 가고 있습니다.
- 연구/사례에서 CXL 기반 메모리 구조가 AI 추론 성능(예: TTFT)을 수 배 개선하는 결과가 보고됩니다. (ACM Digital Library)
비유:
예전엔 각 팀이 “개인 물탱크(서버 메모리)”만 썼다면, CXL은 “공동 저수지(메모리 풀)”에서 필요할 때 물을 끌어다 쓰는 개념입니다. 남는 메모리가 ‘고립’되지 않게 만드는 거죠.
(3) 냉각이 주인공이 되는 시대: 공랭 → 직접수랭/액침
AI 하드웨어 전력 밀도가 올라가면서 냉각이 “옵션”이 아니라 “필수 설계 조건”이 됐습니다.
- 고밀도 AI 랙 설계가 랙당 100kW+까지 논의되는 사례가 나오고(레퍼런스 아키텍처), Schneider Electric–NVIDIA 협업도 이런 흐름을 반영합니다. (Business Insider)
- Goldman Sachs 전망을 인용한 자료에서는 액체 냉각 서버 비중이 2024→2026 사이 급증하는 트렌드를 제시합니다. (lombardodier.com)
4. 네트워크: “연결”에서 “AI 패브릭(훈련/추론용 백엔드)”으로
(1) 에이전틱 네트워크 운영: 장애 알림 → 원인 분석 → 자동 조치
운영 방식이 바뀝니다. NMS가 “알려주는 도구”에서 “해결하는 도구”로 가는 느낌이에요.
에이전틱 AI의 확산(업무 의사결정 자동화 전망)도 같은 방향성을 뒷받침합니다. (가트너)
(2) 800G/1.6T 시대와 Ultra Ethernet Consortium(UEC)
AI 훈련 백엔드는 패킷 손실/혼잡/지연에 민감해서, “이더넷을 AI용으로 재설계”하려는 움직임이 강합니다.
- UEC는 AI/HPC를 염두에 둔 이더넷 스택(혼잡 관리, 효율 개선 등)을 표준화 방향으로 제시합니다.
(3) Wi-Fi 7: 무선도 “성능 + 안정성”을 같이 잡는 쪽으로
Wi-Fi 7의 MLO는 여러 대역을 동시에 활용해 지연·끊김 리스크를 줄이는 설계로 이해하면 됩니다.
5. 스토리지: NVMe-oF + ZNS + RAG 최적화가 핵심 조합
(1) NVMe-oF: “원격 스토리지를 로컬처럼”
NVMe-oF는 NVMe 명령을 패브릭으로 확장해 원격 스토리지를 ‘거의 로컬 수준’으로 쓰려는 기술입니다. (TechTarget)
(2) ZNS: SSD 내부 GC 부담을 줄여 “예측 가능한 성능/효율”
ZNS는 순차 쓰기/존 단위 관리로 SSD 동작을 단순화하고, 쓰기 증폭/오버프로비저닝/테일 레이턴시 문제를 줄이는 방향입니다. (nvmexpress.org)
(“+20% 용량 여지” 같은 메시지도 업계 발표에서 언급됩니다. (SNIA | Experts on Data))
(3) RAG 스토리지 설계: “벡터DB + 불변 스냅샷 + 계층화”
RAG가 늘면 “저장”도 달라집니다.
- Hot: NVMe(추론·검색 지연 최소화)
- Warm: QLC/대용량 SSD(대규모 코퍼스)
- Cold: 오브젝트/아카이브(장기 보관)
- 보안: 불변 스냅샷/백업(랜섬웨어 대응)
6. 플랫폼: 쿠버네티스는 기본값, “플랫폼 엔지니어링”이 실전의 해답
(1) 플랫폼 엔지니어링: 개발자에게 “황금 경로(Golden Path)”를 제공
쿠버네티스가 강력한 만큼 복잡합니다. 그래서 운영 표준을 팀이 만들어주는 흐름이 커져요.
- Gartner는 2026년까지 대기업의 80%가 플랫폼 엔지니어링 팀을 구성할 수 있다고 봅니다. (가트너)
(2) Wasm: 컨테이너를 대체라기보다 “빠르고 가벼운 실행 계층”으로 보완
Wasm은 특히 엣지/서버리스에서 장점이 부각됩니다.
- Cloudflare는 격리(isolate) 기반 런타임이 프로세스 대비 훨씬 빠르게 기동할 수 있음을 설명합니다(대략 100배 수준 언급). (fastly.com)
- 반대로, “컨테이너 런타임을 Wasm으로 바꾸면 항상 성능이 좋아진다”는 식의 단정은 위험하며, 비교 연구에서는 효과가 워크로드/구현에 따라 달라짐을 보여줍니다. (shivangsnewsletter.com)
- WASI는 점점 기능이 확장되는 로드맵을 갖고 있고, 0.3 방향성도 공개되어 있습니다.
7. 지속 가능성: 전력·냉각이 곧 “아키텍처 제약 조건”
AI로 데이터센터 전력 수요가 급증하는 전망이 계속 나오고 있습니다.
- Goldman Sachs 분석에서는 데이터센터 전력 수요가 향후 몇 년 사이 160% 증가할 수 있다고 봅니다. (야후 금융)
- Google의 AI 기반 냉각 최적화 사례로 냉각 에너지 절감(약 40%)이 자주 인용됩니다. (GitHub)
실무 팁
- “전력/냉각/공간” 활용
- AI 워크로드를 논의할 때, 서버 스펙보다 먼저 ‘전력 예산(랙 kW)’과 ‘냉각 방식’부터 확정하는 게 안전합니다.
8. 2025–2035 실행 로드맵
예언이 아니라 “현실적인 준비 순서”로 보시면 됩니다.
- 2025–2027 (기초 공사): 하이브리드 표준화, 관측(Observability), 보안·데이터 분류 체계, NVMe 기반 스토리지 고도화
- 2028–2030 (주권·컴포저블): 소버린 요구 대응, CXL/NVMe-oF 기반 풀링/분리, 백엔드 네트워크 고도화(800G+)
- 2031–2035 (자율 운영 성숙): 에이전틱 운영 고도화(자동조치/감사추적), 에너지 최적화 내재화, 워크로드 재배치 자동화
9. [결론] 3줄 요약
- 인프라는 이제 “앱을 돌리는 자원”이 아니라 AI와 데이터 전략을 실현하는 토대로 바뀌고 있어요.
- 승부처는 하이브리드(복원력) + 데이터 주권(관할) + 자율 운영(AI) 3축을 동시에 설계하는 능력입니다.
- 당장 할 일은 “유행 기술 도입”이 아니라 워크로드/데이터 분류 → 배치 기준 수립 → 관측/보안/전력까지 포함한 표준 아키텍처화입니다.