kone
소미소프트
소미소프트

Qwen3.8 27B 압축버전 Bonsai 2 27B 출시

정보
24,047 views · 2 points

용량(VRAM 용량도 AI 모델 용량으로 보시면 대충 맞습니다.):

Qwen3.8 27B

원본 FP16: 54GB

Q4: 17GB

Q2: 9.4GB

Bonsai 2 27B: 5.9GB

성능:

Q4가 원본 성능의 97~96%를 유지하는 데

Bonsai 2 27B는 원본 성능의 98.2%

세부 벤치마크

1

(1~3%는 오차라고 생각하셔도 좋습니다.)

코딩벤치는 찾아보니 원본과 동일하거나 오히려 성능이 올랐습니다.

단점:

PrismML 자체 평가 결과

2
3 comments
분재 1 실사해봤을 때 실제론 구렸었음. bmt를 맹신하지 말 것
270억 모델 ㄷㄷ 내 똥컴으로는 범접조차할수없네 ㅠ
어짜피 한번에 로드하기에는 메모리가 부족해서 4비트 양자화 모델을 돌려야 하는데 gemma4의 QAT (양자화 최적화 버전)이 너무 잘나와서 Qwen3.8이 아무리 잘 나왔다 해도 4비트 양자화 버전에서는 gemma4 QAT의 양자화 최적화 버전에 비빌수 없음... 그냥 쓸때는 별 차이 안나 보이는데 쓰면 쓸수록 양자화에 따른 오차가 체감적으로 느껴질정도로 퀄리티가 많이 차이남...
All
Title
Body