docs: AI 평가셋 검토 결과를 적고 확정함

반려동물·경계 사례를 검토하며 정한 정책을 평가셋 README 와 설계 §9 에 남긴다. 요청의 핵심을 맞출 후보가 없으면 다른 곳으로 채우지 않고 만들지 않으며, 일부만 못 맞추면 맞출 수 있는 만큼 만들고 알린다. '돈 안 쓰는 코스'는 식당·카페를 뺀다. Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-11-05 23:37:29 +09:00
parent a15bc9982b
commit 542732257c
2 changed files with 16 additions and 7 deletions
@@ -1,9 +1,9 @@
-# AI 코스 생성 평가셋 v2 (대구, 초안)
+# AI 코스 생성 평가셋 v2 (대구)

 WanderGo AI 코스 생성이 **조건을 지키는지**, **없는 정보를 지어내지 않는지** 확인하는 평가용 예시입니다.
 모델·프롬프트를 바꿀 때마다 같은 예시로 돌려 점수를 비교합니다. 흐름과 규칙은 [AI 코스 생성 설계](../design/ai-course.md) §2–§3·§9 를 따릅니다.

- `course-eval-v2.jsonl` — 대구판 62개. 2026-11-05 초안이며 검토 후 확정합니다.
+- `course-eval-v2.jsonl` — 대구판 62개. 2026-11-05 사용자 검토를 거쳐 확정했습니다(아래 '검토에서 정한 것').
 - `course-eval-v1.jsonl` — 2026-10-29 초안(서울·부산·제주 등). 장소 DB 가 대구만 있어 지금은 쓰지 않고, 지역을 넓힐 때 다시 씁니다.

 ## 구성 (62개)
@@ -92,8 +92,16 @@ WanderGo AI 코스 생성이 **조건을 지키는지**, **없는 정보를 지

 정답 코스는 적지 않았습니다. 평가는 장소 DB 스냅샷 위에서 돌리므로, 정답은 "조건을 지켰는가"로 판단합니다.

-## 검토할 때 봐 주세요
+## 검토에서 정한 것 (2026-11-05)
+
+- **요청의 핵심을 맞출 후보가 없으면 만들지 않는다.** "실내에서만"(P07), "실내 전시만"(X01)인데 그런 곳이 없으면
+  야외 장소로 채우지 않고 이유를 알린다(`no_course`). 요청과 다른 코스를 대신 내놓지 않는다.
+- **일부만 못 맞추면 맞출 수 있는 만큼 만들고 알린다.** "산책하고 카페도"(P02), "근대골목 걷다가 카페"(P10)는
+  산책 코스를 만들고 동반 카페가 없다고 알린다(`partial_with_notice`).
+- **'돈 안 쓰는 코스'(X09)는 식당·카페를 뺀다.** 입장료가 무료로 확인되지 않은 곳을 무료라고 하지 않는다.
+
+## 다음 버전에서 볼 것

 - 대구에 사는 사람이 실제로 할 법한 요청인지, 빠진 상황이 있는지
 - `checks` 기준값(이동 시간, 장소 수, 끼니)이 너무 빡빡하거나 느슨하지 않은지
- `expected_behavior` 가 의도한 서비스 정책과 맞는지 (특히 반려동물 P01–P10 과 경계 X01–X10)
+- 큐레이션으로 반려 동반 실내 장소나 전통시장이 후보가 되면 반려동물 사례와 F05·G02 의 기대 결과를 다시 본다