AI 서버에서 가장 기억에 남는 트러블슈팅은 뭐야?

에러 없이 가짜 코스가 나오던 문제입니다.

증상 — 코스 생성 요청이 에러 없이 정상 응답으로 끝나는데, 받아 보면 실제 생성 결과가 아니라 대체 응답(mock)이 들어 있었습니다. 로그에 예외도 없었습니다. 동시에 요청 하나가 29초씩 걸렸습니다.

원인 — 두 가지가 겹쳐 있어서 따로 확인했습니다.

  1. solar-open2는 답하기 전에 먼저 추론(reasoning) 토큰을 씁니다. 이 추론이 max_tokens를 거의 다 써 버려서, 정작 본문은 빈 채로 잘려 나왔습니다.
  2. 솔라 클라이언트에 max_tokens를 넘기지 않고 있어서, 프로바이더 기본값에서 응답이 잘렸습니다.

어느 쪽이든 결과는 같았습니다. 본문이 비거나 잘린 JSON이 오면 파싱이 실패하고, 파서가 예외를 던지는 대신 조용히 mock으로 폴백했습니다. 서비스가 멈추지 않도록 넣은 폴백이 문제를 숨기고 있었던 겁니다.

조치

조치효과
reasoning_effort=none추론을 건너뛰고 바로 답하게 함. low/high로는 차이가 없었음
max_tokens=4000 명시기본값에서 잘리지 않게 함
salvage_objects() 추가잘린 JSON에서도 완성된 객체는 건져서, 잃는 건 마지막 하나뿐이게 함

확인한 결과 — 요청 하나가 29초 → 3.7초로 줄었습니다. 이후 모델 4종 180회 비교 실행에서 응답 잘림은 0건이었습니다.

남은 과제 — 같은 180회 중 4건(2.2%)은 여전히 예외도 잘림도 없이 mock으로 떨어졌습니다. 세 모델에 걸쳐 페르소나도 제각각이라, 모델보다는 파이프라인 쪽의 간헐적 결함으로 보고 있습니다. 원인은 아직 찾지 못했습니다. 그래서 이 문제를 “해결했다”고 쓰지 않고, 응답의 source=mock 비율을 지표로 모니터링하는 작업을 다음 과제로 두고 있습니다.

근거: 4f131d9 (29초 → 3.7초) · 6de8091 (잘림 방지) · 모델 비교 평가 10-6절 (남은 4건)

웹 쪽에서는 어떤 문제가 있었어?

도보 경로가 5km짜리 괴물 루프로 그려지던 문제입니다.

증상 — 테마 코스를 지도에 그리는데, 몇몇 구간이 한참 돌아가는 이상한 선으로 나왔습니다. 잠원에서 반포한강공원까지는 직선 0.28km인데 경로는 5.69km, 계산된 속도는 시속 38km였습니다. 걸어서는 불가능한 값입니다.

원인 — 도보 경로를 공개 OSRM 데모 서버에서 받고 있었는데, 이 서버는 URL에 도보(foot)를 넣어도 자동차 도로망으로 계산합니다. 한강공원이나 궁궐 담장처럼 보행 진입로가 차도에 없는 곳은 차량 램프를 빙 도는 경로가 나왔습니다.

조치

조치효과
우회 감지 규칙경로가 직선 × 2.5 + 0.6km를 넘으면 버리고 직선으로 그림. 0.6km 여유는 한강 다리·지하보도 같은 정당한 우회를 살리기 위한 값
경로 미리 계산테마 코스 경로를 빌드 때 계산해 JSON으로 저장. 같은 우회 규칙 적용
경로 에디터라우터로는 답이 없는 구간을 손으로 그리는 개발자 전용 편집기(/dev/route-editor). 손으로 그린 경로는 재계산이 덮어쓰지 않음

확인한 결과 — 테마 코스는 미리 계산한 경로만 읽기 때문에 실행 중에는 라우팅 API를 전혀 부르지 않습니다. 괴물 루프가 나오던 구간은 직선이나 직접 그린 경로로 대체됐습니다.

남은 과제 — 근본 해결은 도보 도로망을 가진 OSRM을 직접 띄우는 것입니다. 스크립트의 foot 표기는 그때를 대비해 남겨 뒀습니다. 또 AI 코스는 매번 장소가 달라 미리 계산할 수 없어서, 여전히 실시간 라우팅과 직선 폴백에 의존합니다.

근거: cfc9c68 (우회 규칙 · 경로 에디터 · 사전 계산)

비슷한 문제가 또 있었어?

네. 돌아보니 이 프로젝트에서 까다로웠던 문제는 대부분 에러 없이 품질만 떨어지는 문제였습니다. 위의 OSRM 경로도 에러 없이 정상 응답으로 이상한 선을 돌려줬습니다.

문제겉으로 보이는 모습대응
임베딩 모델과 컬렉션이 서로 안 맞음차원이 같으면 Chroma가 에러 없이 엉뚱한 검색 결과만 냄모델을 바꾸면 컬렉션 이름도 바꾸는 규칙(seoulro_v3) · /health에 모델과 컬렉션을 노출해 배포 후 가장 먼저 확인
식당 캐시 파일 누락정상 응답이지만 라이브 조회로 돌아가 20~40초 걸림캐시 파일을 git으로 추적
인덱스 없는 이미지 배포data/chroma가 gitignore라 git 기반 빌드에서 인덱스가 빠짐 → mock 응답으로만 드러남로컬에서 linux/amd64로 빌드해 레지스트리에 올리는 경로로 고정

배운 점 — 폴백은 서비스를 멈추지 않게 해 주지만, 그만큼 문제를 숨깁니다. 이후로는 폴백을 넣을 때 폴백이 일어났다는 사실을 응답이나 헬스체크에서 볼 수 있게 설계합니다.

모든 답변은 작성자가 직접 작성한 내용입니다.

프로필

서

서동휘

AI applied Engineer, Product Engineer

문제를 정의하고 기술을 통해 해결하는 개발자

기술 스택

  • Python
  • FastAPI
  • LangChain
  • TypeScript
  • React

연락처