Series
시스템 디자인 연습과 아키텍처 사고를 정리한 글 2개.
Peak 2만 TPS 규모의 LLM 서빙 시스템에서 실시간 추론 경로와 비동기 피드백 수집 경로를 나눠 본 시스템 디자인 연습
Document AI 시스템을 예시로 대규모 비동기 처리 아키텍처와 GPU 워커 설계를 정리