generated from ttipo/project-base
docs: AI 코스 추천 평가셋 초안 추가
AI 코스 생성 품질을 프롬프트·모델을 바꿀 때마다 같은 기준으로 재기 위한 62개 사례(데이트·축제·반려동물·카카오 데이터 경계·날씨·예외 입력)와 사례별 확인 항목·기대 동작이다. 대구 사례는 아직 넣지 않았다. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
@@ -0,0 +1,50 @@
|
||||
# AI 코스 생성 평가셋 v1 (초안)
|
||||
|
||||
WanderGo AI 코스 생성이 **조건을 지키는지**, **없는 정보를 지어내지 않는지** 확인하는 평가용 예시입니다.
|
||||
모델·프롬프트를 바꿀 때마다 같은 예시로 돌려 점수를 비교합니다. 2026-10-29 초안이며 검토 후 확정합니다.
|
||||
|
||||
## 구성 (62개)
|
||||
|
||||
| 분류 | 개수 | 보는 것 |
|
||||
|---|---|---|
|
||||
| 데이트 | 14 | 분위기 요청·식사 순서·영업시간 |
|
||||
| 축제 | 8 | 그날 열리는 행사인지·종료 시각 |
|
||||
| 반려동물 | 10 | 동반 조건 엄격 적용·미확인 표시 |
|
||||
| 가족 | 8 | 걷는 양·휴식·아이/어르신 배려 |
|
||||
| 외국인 | 6 | 영어 응답·한국어 병기·식이 정보 정직성 |
|
||||
| 날씨·시간 | 6 | 예보 활용·이른/늦은 시간 영업 |
|
||||
| 경계 | 10 | 불가능·범위 밖·위험 요청 처리 |
|
||||
|
||||
## 필드
|
||||
|
||||
- `request` — 사용자가 입력하는 문장 그대로
|
||||
- `context` — 생성 시점에 시스템이 아는 값. `today` 를 고정해 결과를 재현할 수 있게 한다. `weather` 가 `null` 이면 예보가 없는 날짜다
|
||||
- `expected_behavior`
|
||||
- `course` — 코스를 만든다
|
||||
- `partial_with_notice` — 조건을 다 채울 수 없으면 적게 만들고 이유를 말한다
|
||||
- `ask_clarification` — 코스 대신 되묻는다
|
||||
- `decline_out_of_scope` — 지원 범위 밖임을 안내한다
|
||||
- `refuse_part` — 위험하거나 부적절한 부분은 거절하고 나머지를 돕는다
|
||||
- `checks` — 코드로 자동 채점하는 조건
|
||||
- `open_at_arrival` 도착 시각에 영업 중 · `within_window` 시간 안에 끝남
|
||||
- `stops` 장소 수 범위 · `max_leg_min` 장소 사이 최대 이동 시간(분)
|
||||
- `pet_policy: strict` 동반이 **확인된** 곳만 동반 가능으로 표시(미확인은 경고)
|
||||
- `indoor_ratio_min` 실내 비율 하한 · `category_min` 서로 다른 분류 수
|
||||
- `must_include` / `must_exclude` 꼭 넣을·뺄 태그 (`cafe>=2` 는 2곳 이상)
|
||||
- `judge_focus` — 사람·AI 채점자가 중점으로 볼 것
|
||||
|
||||
## 채점
|
||||
|
||||
1. **자동 채점(코드)** — 장소가 모두 우리 DB에 있는지, `checks` 를 모두 지켰는지. 하나라도 어기면 실패
|
||||
2. **AI 채점자** — 요청에 맞는지, 한국어(영어)가 자연스러운지, 추천 이유가 데이터와 일치하는지 1–5점
|
||||
3. **사람 검토** — 매 버전 무작위 10개를 직접 본다
|
||||
|
||||
목표(초안): 자동 채점 통과율 95% 이상, `pet_policy` 위반 0건, 지어낸 정보(영업시간·동반 여부·가격) 0건.
|
||||
|
||||
## 검토할 때 봐 주세요
|
||||
|
||||
- 실제 사용자가 할 법한 요청인지, 빠진 상황이 있는지
|
||||
- `checks` 기준값(이동 시간, 장소 수)이 너무 빡빡하거나 느슨하지 않은지
|
||||
- `expected_behavior` 가 의도한 서비스 정책과 맞는지 (특히 경계 X01–X10)
|
||||
|
||||
정답 코스는 적지 않았습니다. 평가는 우리 장소 DB 스냅샷 위에서 돌리므로, 정답은 "조건을 지켰는가"로 판단합니다.
|
||||
Reference in New Issue
Block a user