wandergo/docs/ai-eval

AI 코스 생성 평가셋 v1 (초안)

WanderGo AI 코스 생성이 조건을 지키는지, 없는 정보를 지어내지 않는지 확인하는 평가용 예시입니다. 모델·프롬프트를 바꿀 때마다 같은 예시로 돌려 점수를 비교합니다. 2026-10-29 초안이며 검토 후 확정합니다.

구성 (62개)

분류	개수	보는 것
데이트	14	분위기 요청·식사 순서·영업시간
축제	8	그날 열리는 행사인지·종료 시각
반려동물	10	동반 조건 엄격 적용·미확인 표시
가족	8	걷는 양·휴식·아이/어르신 배려
외국인	6	영어 응답·한국어 병기·식이 정보 정직성
날씨·시간	6	예보 활용·이른/늦은 시간 영업
경계	10	불가능·범위 밖·위험 요청 처리

필드

• request — 사용자가 입력하는 문장 그대로
• context — 생성 시점에 시스템이 아는 값. today 를 고정해 결과를 재현할 수 있게 한다. weather 가 null 이면 예보가 없는 날짜다
• expected_behavior
  • course — 코스를 만든다
  • partial_with_notice — 조건을 다 채울 수 없으면 적게 만들고 이유를 말한다
  • ask_clarification — 코스 대신 되묻는다
  • decline_out_of_scope — 지원 범위 밖임을 안내한다
  • refuse_part — 위험하거나 부적절한 부분은 거절하고 나머지를 돕는다
• checks — 코드로 자동 채점하는 조건
  • open_at_arrival 도착 시각에 영업 중 · within_window 시간 안에 끝남
  • stops 장소 수 범위 · max_leg_min 장소 사이 최대 이동 시간(분)
  • pet_policy: strict 동반이 확인된 곳만 동반 가능으로 표시(미확인은 경고)
  • indoor_ratio_min 실내 비율 하한 · category_min 서로 다른 분류 수
  • must_include / must_exclude 꼭 넣을·뺄 태그 (cafe>=2 는 2곳 이상)
• judge_focus — 사람·AI 채점자가 중점으로 볼 것

채점

1. 자동 채점(코드) — 장소가 모두 우리 DB에 있는지, checks 를 모두 지켰는지. 하나라도 어기면 실패
2. AI 채점자 — 요청에 맞는지, 한국어(영어)가 자연스러운지, 추천 이유가 데이터와 일치하는지 1–5점
3. 사람 검토 — 매 버전 무작위 10개를 직접 본다

목표(초안): 자동 채점 통과율 95% 이상, pet_policy 위반 0건, 지어낸 정보(영업시간·동반 여부·가격) 0건.

검토할 때 봐 주세요

• 실제 사용자가 할 법한 요청인지, 빠진 상황이 있는지
• checks 기준값(이동 시간, 장소 수)이 너무 빡빡하거나 느슨하지 않은지
• expected_behavior 가 의도한 서비스 정책과 맞는지 (특히 경계 X01–X10)

정답 코스는 적지 않았습니다. 평가는 우리 장소 DB 스냅샷 위에서 돌리므로, 정답은 "조건을 지켰는가"로 판단합니다.