llm

Peak 2만 TPS 규모의 LLM 서빙 시스템에서 실시간 추론 경로와 비동기 피드백 수집 경로를 나눠 본 시스템 디자인 연습

꼬빌의 말투와 질문 진행, 응답 언어를 제품이 관리하는 인터뷰 상태로 통합한 과정

전체 인터뷰 대화를 기준으로 LLM 응답 품질을 평가하는 시스템 구현

근거 강화를 위한 프롬프트 리팩터링에서 사라진 인터뷰 엔진 규칙을 복구한 과정

LLM 사용량이 늘어도 비용을 통제할 수 있도록 서버에 예산 경계를 둔 과정

진행 중인 세션을 기록이 아닌 재개 가능한 작업으로 다루기 위한 상태 정리

LLM의 완료 신호를 그대로 믿지 않고 인터뷰 종료 조건을 다시 세운 기록

학습 세션 telemetry와 roadmap-level 인터뷰 허브 방향을 정리한 기록