Qwen3.8 27B 압축버전 Bonsai 2 27B 출시
용량(VRAM 용량도 AI 모델 용량으로 보시면 대충 맞습니다.):
Qwen3.8 27B
원본 FP16: 54GB
Q4: 17GB
Q2: 9.4GB
Bonsai 2 27B: 5.9GB
성능:
Q4가 원본 성능의 97~96%를 유지하는 데
Bonsai 2 27B는 원본 성능의 98.2%
세부 벤치마크
1
(1~3%는 오차라고 생각하셔도 좋습니다.)
코딩벤치는 찾아보니 원본과 동일하거나 오히려 성능이 올랐습니다.
단점:
PrismML 자체 평가 결과
2
3 comments
pantone
분재 1 실사해봤을 때 실제론 구렸었음. bmt를 맹신하지 말 것
270억 모델 ㄷㄷ 내 똥컴으로는 범접조차할수없네 ㅠ
어짜피 한번에 로드하기에는 메모리가 부족해서 4비트 양자화 모델을 돌려야 하는데
gemma4의 QAT (양자화 최적화 버전)이 너무 잘나와서
Qwen3.8이 아무리 잘 나왔다 해도 4비트 양자화 버전에서는 gemma4 QAT의 양자화 최적화 버전에 비빌수 없음...
그냥 쓸때는 별 차이 안나 보이는데
쓰면 쓸수록 양자화에 따른 오차가 체감적으로 느껴질정도로 퀄리티가 많이 차이남...
s/somisoft
• 163,117 subscribers여러가지 다루는 서브
Rules
- 1. 게시물 규정 양식
업로드 시 링크 암호화 & 필수 정보를 기입할 것
- 2. 질문
국룰, 암호화 링크 등 기본사항 질문 금지, 탭 미준수시 차단 및 삭제
- 3. 요청
요청 기준 및 양식 미준수 & 댓글로만 자료 복구 요청 시 차단
- 4. 미성년자 / 근첩 / 페미 / 다중계정
조금이라도 의심되면 선 차단, 후 해명
- 5. 좆목 / 네임드화
닉언, 네임드화 등 친목질 금지
- 6. 분탕 및 어그로 / 혐짤 / 낚시 / 뇌절
해당 카테고리의 차단 기간 및 가중처벌은 처리자 재량으로 판단
- 7. 홍보 / 판촉 / 거래
허용되지 않은 모든 형태의 홍보, 거래, 교환, 조건부 공유 시 차단
- 8. 쌀먹 / 바이러스
조건부 공유 & 수익성 링크 & 고의적인 바이러스 유포 시 갱신차단
- 9. 자료 분류 / AI
미검수 시 표기 필수, 생성형 AI를 사용한 자료의 제목에 AI 미기입 시 차단
- 10. 실사 / 토들러
업로드시 갱신 차단
- 11. 기타 세부 규정은 서브 공지사항 참고