Series
시스템 디자인 연습과 아키텍처 사고를 정리한 글 3개.
대량의 파드를 동적으로 생성하는 디스패처에서 중첩 타임아웃 관리, 롤백 유실 방지, 중복 실행 차단을 다루는 실무 정리
Peak 2만 TPS 규모의 LLM 서빙 시스템에서 실시간 추론 경로와 비동기 피드백 수집 경로를 나눠 본 시스템 디자인 연습
Document AI 시스템을 예시로 대규모 비동기 처리 아키텍처와 GPU 워커 설계를 정리