AI 캐릭터 챗 평가, 맡길 곳은 있다 — 상용 파트너 12곳과 전문 벤치마크 10개
Asked:
"ai character chat 을 eval하는 회사라던지, 이거 eval 할 수 있는 사람들 있어?!"
조사로 추린 실무 후보 22개 전부를 담았다 — 상용 평가 회사·플랫폼 12곳과 캐릭터/롤플레이 전문 벤치마크·연구팀 10개. 근거는 8개 독립 출처 호스트에 걸쳐 있고 한 URL이 담당하는 행은 최대 5/22라 과반 단일 출처는 아니다. 각 후보를 5개 기준(사람 정성 평가 · 멀티턴 자동 회귀 · 페르소나/캐릭터 충실도 · 정서적 동반 품질 · 안전/레드티밍)으로 비교한다.
결정 지도: 누구에게 맡기고, 무엇으로 rubric을 설계할까
직접 적합 (명시적 지원)
부분 적합 (제한적·간접)
해당 없음
◦ 표시 = 자료가 향후 공개 예정인 연구 리소스 · 각 행에 마우스를 올리면 근거가 보인다
읽는 법
사람 정성 평가가 필요하면 Toloka(100+ 언어 인력, 선불·최소비용 없음), Surge AI(team@surgehq.ai), Scale AI(사람 전문가+자동 하이브리드, MultiChallenge 멀티턴 벤치마크 보유)를 먼저 검토 —
toloka.ai ·
surgehq.ai ·
scale.com멀티턴 자동 평가·CI 회귀 테스트에는 Confident AI가 가장 직접적 — 멀티턴 시뮬레이션, 50+ 지표, 레드티밍, 무료 티어부터 월 $2,000 팀 요금까지 공개 가격 —
confident-ai.com캐릭터 고유 rubric 설계는 CharacterEval(역할 일관성·대화 능력·매력도 12지표)과 CharacterCraft(배경·성격·말투·감정·결정·몰입 9차원)를 참고 —
arxiv.org ·
aclanthology.org정서적 동반·안전 경계는 CompanionBench(10개 관계 역량 + 공개 경계 시뮬레이터)와 CompanionEval(13개 위해 분류, 멀티턴 ASR)이 전담하지만, 둘 다 자료 일부가 향후 공개 예정인 연구 리소스다 —
arxiv.org
데이터: 수작업 조사로 추린 AI 캐릭터 챗 평가 후보 22행(상용 12·연구 10), 8개 독립 출처 호스트, URL당 최대 5행. 매트릭스 적합도(직접/부분/해당없음)는 각 행의 character_chat_fit·service 서술을 5개 기준에 대응시킨 편집 판정이며, 표에서는 서술 전문을 지면상 요약했다. 가격·공개 상태는 출처 문서 작성 시점 기준.