← 전체 Code 포스트

Tag

serving

serving 태그가 달린 글 1개.

LLM 서빙과 피드백 파이프라인 분리하기

2026년 6월 23일

Peak 2만 TPS 규모의 LLM 서빙 시스템에서 실시간 추론 경로와 비동기 피드백 수집 경로를 나눠 본 시스템 디자인 연습

system-design architecture llm +5