중소벤처기업부 글로벌 기업 협업 프로그램 ‘열림’의 중간 성과 발표회, OpenAI ‘열림 Showcase’ 현장
사업자 대상 AI 에이전트 ‘알프레드’를 운영하는 알프레드(대표 옥형석)가 지난 8월 28일 OpenAI 서울 오피스에서 열린 중소벤처기업부 글로벌 기업 협업 프로그램 ‘열림’의 중간 성과 발표회 ‘열림 Showcase’에서 참여 10개 사 중 1위로 선정됐다고 밝혔다.
‘열림’은 선발된 스타트업에 OpenAI 엔지니어의 기술 자문과 최신 모델 조기 접근을 지원하는 프로그램으로, 이번 Showcase는 참여 10개 사가 중간 성과와 OpenAI 활용 사례, 향후 개발 계획을 발표하는 자리였다. 알프레드는 다른 기업들이 자사 소개와 모델 적용 현황을 중심으로 발표한 것과 달리, 제품 소개를 최소화하고 발표 대부분을 자체 모델 벤치마크 결과 공유에 할애했다.
특히 평가 방식이 차별점으로 꼽혔다. 답변 하나의 오류가 가산세나 신고 오류로 직결되는 세무 영역의 특성을 반영해, 통상적인 ‘정답률’ 비교가 아니라 어떤 모델이 어떤 상황에서 실수하는지를 규명하는 방향으로 설계했다. 근거 없이 답을 만들어내는 환각, 근거가 충분한데도 답을 회피하는 과잉 절제, 검색된 문서와 자체 기억이 충돌할 때의 선택을 각각 분리해 측정했다.
평가는 2025년 세무 상담 실데이터로 구성한 FAQ 300문항을 국내외 LLM 9종에 적용해 정상, 무관 문서 삽입, 컨텍스트 변조, 근거 부재, 클로즈드북 5개 조건으로 진행됐다. 알프레드는 답변 품질과 절제 판단, 컨텍스트 준수, 추론 속도를 종합해 기존 기준 모델을 유지하기로 했으며, 협업 중인 진영의 최신 모델 일부에서 환각 위험이 높게 나온 결과도 수정 없이 공개했다.
1위 선정에 따라 알프레드는 OpenAI API 크레딧 5000달러를 지원받고, 상위 3개사 중 1개사로 선정되면 오는 11월 성과 공유회에서 OpenAI와 함께 대표 성공사례를 발표한다.
옥형석 알프레드 대표는 “세무 도메인에서는 얼마나 똑똑한지 보다 어떤 상황에서 틀리는지를 알고, 틀리지 않게 하는 것이 서비스 신뢰도를 결정한다”라며 “평가 기준을 먼저 정하고 결과는 나온 대로 공개했다”라고 말했다.
알프레드는 120만 사업자를 대상으로 세무·재무 업무를 수행하는 AI 에이전트를 운영하고 있다. 올해 2월 중소벤처기업부 ‘OpenData × AI 챌린지’ 소상공인 분야 1위, 정부 ‘독자 AI 파운데이션 모델’ 사업 참여에 이어 지난 8월 과학기술정보통신부 ‘모두의 AI’ SK텔레콤 컨소시엄에도 참여사로 이름을 올렸다. 마이크로소프트와 AI 에이전트 기술 협력도 진행 중이다.
