Qwen 3.8 27b 번역 후기
그래픽카드 3090
RAM 64GB로 테스트 합니다.
로컬 LLM 런처는 LM 스튜디오를 사용했으며
헤르메스에 연결하여 작업을 실행했습니다.
모델은 Qwen 3.8 27b 3양자화를 사용했습니다.
3양자화가 원본에 92.5% 정도 하고 artificial을 기준으로 단순 계산하면
48점 정도 하는데 어느 정도 수준이냐면
6개월 전에 주력으로 사용했던 오푸스 4.6보다 훨씬 더 좋습니다.
사실 양자화 4를 하고 사용하고 싶었는데 작업을 해보려고 컨텍스트를 128K로 돌렸더니
KV 캐쉬를 4양자화를 해도 6~7GB를 먹습니다.
일단 128K로 해보고 싶어서 줄이지 않고 이 세팅으로 진행하겠습니다.
속도는 MTP 2/0/0.75를 사용하여 초당 30토큰이 나왔는데
이후에 MTP 2/0/0을 사용하니 초당 40~50토큰이 나옵니다.
(0~2토큰 예측에 정확도 20% 설정을 했습니다.)
MTP 설정에 대한 자세한 설명
max 최대 몇 토큰까지 예측
min 최소한 몇 토큰까지 예측하냐
probability 정확도
지금 설정은 0~2토큰까지 예측하며 ai가 자신있는 작업에서는 2토큰까지 예측하며 작업하고
자신없는 복잡한 파이썬 코드나 수학 추론같은 작업에서는 예측을 사용하지 않습니다.
최소 설정을 1로 잡으면 자신없는 복잡한 작업도 1토큰 예측하여 사용하는데
오히려 오류가 심해져 속도가 느려진다고 합니다.
정확도는 예측 토큰을 만들고 얼마나 정확하면 사용하냐 이것인데
이것을 0~50%까지 사용하고 정확도 0을 사용해도 그대로 사용하는 것이 아니라
ai가 알아서 거르는 방식이라 속도가 목적이면 0으로 사용해도 된다고 합니다.
ai가 추천한 방식은 그래픽카드마다 다르며
인터넷에서 찾은 결과 3090기준 2/0/0 을 추천했습니다
추가로 Qwen 3.8 27b는 오버해서 추론하는 버그가 있어서 그것을 해결하기 위해
qwen에게 작업 난이도를 평가해서 추론값을 높이거나 낮추는 스킬을 사용했습니다.
이 스킬도 qwen이 만들어 줬습니다.
테스트는 당연히 야겜을 번역해 볼겁니다.
테스트 게임은 RJ01665325로 MZ 형식의 게임입니다.
로컬로 야겜 번역하는 건 처음이라서 두근 거리네요.
결론부터 말하면 실패했습니다.
계획서 작성하고 게임 파일 인식하고 백업하고 번역 준비까지 1시간 30분 걸렸습니다.
번역은 시작도 못 했는데 1시간 30분 걸렸으면 사실 실패했다고 보는게 맞는 것 같습니다.
무검열 버전을 사용해서 해야하는 일이 있는거 아니면 사용하지 마세요.
차라리 같은 성능의 딥시크 v4 플래쉬가 $0.04/$0.08입니다.
70/30으로 계산하면 100만당 대략 72원이고
5억 토큰을 사용해야지 AI의 구독료인 28,800원이 나옵니다.
다신 이딴 똥 쓰레기 같은 실험 안한다
s/somisoft
• 157,564 subscribers- 1. 게시물 규정 양식
업로드 시 링크 암호화 & 필수 정보를 기입할 것
- 2. 질문
국룰, 암호화 링크 등 기본사항 질문 금지, 탭 미준수시 차단 및 삭제
- 3. 요청
요청 기준 및 양식 미준수 & 댓글로만 자료 복구 요청 시 차단
- 4. 미성년자 / 근첩 / 페미 / 다중계정
조금이라도 의심되면 선 차단, 후 해명
- 5. 좆목 / 네임드화
닉언, 네임드화 등 친목질 금지
- 6. 분탕 및 어그로 / 혐짤 / 낚시 / 뇌절
해당 카테고리의 차단 기간 및 가중처벌은 처리자 재량으로 판단
- 7. 홍보 / 판촉 / 거래
허용되지 않은 모든 형태의 홍보, 거래, 교환, 조건부 공유 시 차단
- 8. 쌀먹 / 바이러스
조건부 공유 & 수익성 링크 & 고의적인 바이러스 유포 시 갱신차단
- 9. 자료 분류 / AI
미검수 시 표기 필수, 생성형 AI를 사용한 자료의 제목에 AI 미기입 시 차단
- 10. 실사 / 토들러
업로드시 갱신 차단
- 11. 기타 세부 규정은 서브 공지사항 참고