# AI 코스 생성 평가셋 v1 (초안)

WanderGo AI 코스 생성이 **조건을 지키는지**, **없는 정보를 지어내지 않는지** 확인하는 평가용 예시입니다.
모델·프롬프트를 바꿀 때마다 같은 예시로 돌려 점수를 비교합니다. 2026-10-29 초안이며 검토 후 확정합니다.

## 구성 (62개)

| 분류 | 개수 | 보는 것 |
|---|---|---|
| 데이트 | 14 | 분위기 요청·식사 순서·영업시간 |
| 축제 | 8 | 그날 열리는 행사인지·종료 시각 |
| 반려동물 | 10 | 동반 조건 엄격 적용·미확인 표시 |
| 가족 | 8 | 걷는 양·휴식·아이/어르신 배려 |
| 외국인 | 6 | 영어 응답·한국어 병기·식이 정보 정직성 |
| 날씨·시간 | 6 | 예보 활용·이른/늦은 시간 영업 |
| 경계 | 10 | 불가능·범위 밖·위험 요청 처리 |

## 필드

- `request` — 사용자가 입력하는 문장 그대로
- `context` — 생성 시점에 시스템이 아는 값. `today` 를 고정해 결과를 재현할 수 있게 한다. `weather` 가 `null` 이면 예보가 없는 날짜다
- `expected_behavior`
  - `course` — 코스를 만든다
  - `partial_with_notice` — 조건을 다 채울 수 없으면 적게 만들고 이유를 말한다
  - `ask_clarification` — 코스 대신 되묻는다
  - `decline_out_of_scope` — 지원 범위 밖임을 안내한다
  - `refuse_part` — 위험하거나 부적절한 부분은 거절하고 나머지를 돕는다
- `checks` — 코드로 자동 채점하는 조건
  - `open_at_arrival` 도착 시각에 영업 중 · `within_window` 시간 안에 끝남
  - `stops` 장소 수 범위 · `max_leg_min` 장소 사이 최대 이동 시간(분)
  - `pet_policy: strict` 동반이 **확인된** 곳만 동반 가능으로 표시(미확인은 경고)
  - `indoor_ratio_min` 실내 비율 하한 · `category_min` 서로 다른 분류 수
  - `must_include` / `must_exclude` 꼭 넣을·뺄 태그 (`cafe>=2` 는 2곳 이상)
- `judge_focus` — 사람·AI 채점자가 중점으로 볼 것

## 채점

1. **자동 채점(코드)** — 장소가 모두 우리 DB에 있는지, `checks` 를 모두 지켰는지. 하나라도 어기면 실패
2. **AI 채점자** — 요청에 맞는지, 한국어(영어)가 자연스러운지, 추천 이유가 데이터와 일치하는지 1–5점
3. **사람 검토** — 매 버전 무작위 10개를 직접 본다

목표(초안): 자동 채점 통과율 95% 이상, `pet_policy` 위반 0건, 지어낸 정보(영업시간·동반 여부·가격) 0건.

## 검토할 때 봐 주세요

- 실제 사용자가 할 법한 요청인지, 빠진 상황이 있는지
- `checks` 기준값(이동 시간, 장소 수)이 너무 빡빡하거나 느슨하지 않은지
- `expected_behavior` 가 의도한 서비스 정책과 맞는지 (특히 경계 X01–X10)

정답 코스는 적지 않았습니다. 평가는 우리 장소 DB 스냅샷 위에서 돌리므로, 정답은 "조건을 지켰는가"로 판단합니다.