Hugging Face 저장소 첫 화면
컨티뉴엄 AI(CONTINUUM AI)가 개발한 OrcaRouter는 2026년 11월 1일 Mistral의 1조 파라미터 모델 Mistral Large 4의 GGUF 빌드 두 가지를 공개했다고 밝혔다. 이번에 공개한 빌드는 256GB 메모리용 Mix-256G와 512GB 메모리용 Mix-512G로, 두 빌드 모두 llama.cpp에서 바로 읽는다.
무엇을 공개했나
Mistral Large 4는 1조 파라미터 규모의 MoE 모델이다. 128개의 라우티드 전문가와 공유 전문가 1개를 두고, 토큰마다 52B를 활성화한다. OrcaRouter는 이 모델을 llama.cpp용 GGUF로 양자화해 공개했다. 원본 FP8 체크포인트의 Q8_0 GGUF를 기준으로 품질을 측정했고, imatrix를 함께 배포한다.
두 가지 빌드
Mix-256G는 메모리 232.9GB, 전문가 1.72비트에 해당한다. KL 발산은 0.0975, top-1 일치율은 91.6%, 원본 대비 혼란도는 8.7% 높다. Mix-512G는 메모리 492.2GB, 3.72비트며, KL 발산 0.0129, top-1 일치율 96.9%, 혼란도 차이는 0.75%다. 256GB 빌드는 256GB Mac이지만 256GB PC, H200 두 장에서, 512GB 빌드는 512GB 머신에서 구동할 수 있다.
같은 크기와 비교
OrcaRouter는 같은 파일 크기의 기존 양자화와 비교했다. 233GB에서는 unsloth의 UD-IQ1_S보다 KL 발산이 20% 낮고, 492GB에서는 UD-Q3_K_XL보다 13% 낮다. top-1 일치율도 256G가 91.61% 대 90.84%, 512G가 96.93% 대 96.81%로 조금 높다. 측정은 검색에 쓰이지 않은 텍스트로 했다.
왜 로컬인가
OrcaRouter는 이 빌드를 데이터 주권이 중요한 유럽의 에어갭 산업, 그리고 자기 하드웨어에서 모델을 돌리려는 팀을 겨냥해 공개했다. 11개 언어를 지원하며 한국어도 포함된다. 라이선스는 Mistral Ecosystem Open Weight License다. 같은 모델을 Orca Connect로 로컬 API처럼 노출할 수도 있다.
어떻게 양자화했나
Mix-256G는 라우티드 전문가 gate를 대부분 IQ1_S로, 일부 레이어는 IQ2_XXS·IQ1_M으로 낮췄다. attention q/output/v_b/indexer는 IQ4_XS·Q4_K·Q5_K·IQ4_XS, shared expert는 Q4_K·IQ4_XS·Q4_K, token embedding은 Q3_K, output head는 Q5_K를 쓴다. MLA kv_a/k_b와 indexer k는 Q8_0, router·norm·SSMax는 F32로 남겼다. 이 부분이 전체 0.75GB를 차지한다.
누가 쓸 수 있나
에어갭 환경이나 자체 GPU에서 모델을 돌리려는 팀이 대상이다. OrcaRouter는 모두에게 열려 있고, 게이트키핑은 없다고 밝혔다.
측정 방법
품질은 원본 FP8 체크포인트의 Q8_0 GGUF를 기준으로 쟀다. 검색에 쓰이지 않은 텍스트에서 32개(512G) 또는 64개(256G) 창을 뽑아 llama.cpp 커널로 비교했다. KLD와 top-1, 혼란도를 함께 본 이유는 한 지표만으로는 양자화 손실을 설명하기 어렵기 때문이다. 같은 크기의 기존 양자화와도 나란히 비교했다.
한계
GGUF는 원본이 아니라 양자화된 빌드다. Mix-256G의 top-1 일치율 91.6%는 다음 토큰의 약 8.4%가 원본과 다르다는 뜻이고, 혼란도는 8.7% 높다. 256GB는 모델이 올라가는 메모리 기준이며, 파일과 실행 환경을 포함한 전체 디스크·RAM 요구량은 별도로 계산해야 한다. 라이선스 조건도 원본과 같지 않으니 상업적 사용 전에 확인이 필요하다.
주요 모델
OrcaRouter는 단일 API 키와 엔드포인트로 다음을 포함한 200개 이상의 모델을 제공한다.
· Claude Opus 5.5
· GPT-6.1 Sol
· Gemini 3.8 Flash
· DeepSeek V4.1 Flash 1017
· Qwen3.8 Max
· GLM-5.3
· OrcaCyber Zero 1.5
참고
· Mistral Large 4 GGUF 저장소
· Mistral Large 4 원본 모델
· Orca Connect 소개
· 요금 안내
· OrcaRouter 웹사이트
