이제 제미니보다는 Gemma 4 이런걸로 갈아타야하나?
Gemma 4 이거 요즘 호평이던데
제미니 어느정도 까지 따라옴? 갈아탈만함?
0
14 comments
kone1133
(edited )듣기로는 번역 퀄은 비슷하다고 합니다. 프롬프트를 더 잘 따라주고 야설같은것도 번역이 잘되는 듯. 다만 글카가 아주 좋아야해요.
crari13
RAM이 16 이상을 권장하니... 소설만 보는 사람에게는 확실히 좀 고사양이겠네요 글카 값이 확실히 좀 들어가겠네요
[deleted] (edited )
Deleted comment.
좀 만 더 발전하면 될듯
gemma 31b 모델이 2.5 flash에서 2.5 pro 딱 중간에 위치한 성능이라 보시면 됩니다.
gemini 2.5pro가 초당토큰생성 80~140tps를 보여주는데
양자화 없이 로컬로 gemma 4 31b dense 쌩으로 돌리면
3090그래픽 2개 같이 꼽아야 80tps
1개면 25 ~ 40tps 정도 나옵니다.
3070이 10tps쯤, 3060ti가 8tps던가 나올 겁니다
10tps 미만 속도로 억지로 돌리면 4천자 소설 한 화에 90분쯤 걸릴테니까
이걸 튜닝된 양자화버전으로 돌려야 되는데 그럼 속도가 보장되는대신 성능이 하락되죠.(그럼 2.5 flash 만도 못해집니다)
가볍게 토큰 예측 및 양자화된 26b awq mtp로 돌리면 3090에서 110~120tps 쯤 나오니 쓸만은 하겠지만 flash 보단 좀 아쉽죠
아직 로컬 ai는 상용 클라우드 ai에 비해 좀 모자랍니다.
아직 좀 멀었네
(edited )
저는 gemma 26b a4b (양자화는 q4 비슷한 mx뭐시기) 쓰고 있는데, 1800자 번역하는데 약 20-30초 정도 걸리는 것 같아요. vram이 16g면 아슬아슬하게 들어갈 것 같긴 한데, 안들어가면 양자화를 좀 낮춰야 할 겁니다.
토큰 생성 속도는 대충 80~90? 가끔씩 120씩 나오기도 하는데 평균적으로 그 정도는 나오는 것 같아요.
번역 퀄리티는 어딘가모르게 아쉬운 느낌이 듭니다... 31b가 아니라서 그런가, 아니면 gemma4 한계 때문인진 모르겠어요.
그리고 이게 필력이 원래 별로인지, 아니면 gemma4로 번역하면 필력이 안 좋아지는지도 모르겠어요. 아니면 프롬프트 문제인가..
제 작업 환경은
노트북은 5060, 외장 gpu는 4080s (vram 8+16)
ram 32g 램이 부족한 건 느낍니다. 작업중에는 거의 항상 램 사용량이 90%에요.
제 생각엔 vram 16g, ram 32g 이상이면 아쉬운대로 도전해볼만 한 것 같습니다..
데탑인데 그정도는 되서 해볼할듯
s/ainovel
• 8,080 subscribersAI로 번역된 해외 소설 및 해외 패러디 소설 서브입니다.
Rules
- 1. ※번역 요청 규칙※
본문에 원문 또는 후기 혹은 원문과 후기 둘 다 포함 필수. ex. [후기] 검도지로 1~2340 완; 또는 [원문/후기] 검도지로 1~2340 완 그 외 번역 요청은 이 글이 아닌 번역 요청 공지글에 댓글로 작성해주세요. 타 사이트의 자료 요청 금지. ※요청 규칙 미숙지시 7일 차단※
- 2. ※복구 요청 규칙※
원글 링크를 붙여주세요. 복구 자료는 복구 요청글의 링크를 첨부해주세요. 복구 요청은 공유할때까지 도배하지말고 기다려주세요. ※요청 규칙 미숙지시 7일 차단※
- 3. 욕설 및 비속어 금지
욕설, 비하, 혐오, 성적인 발언, 정치적 조롱 등은 일절 금지합니다. 상대를 직접적으로 공격하거나 조롱하는 행위는 즉시 제재 대상이 됩니다.
- 4. 분쟁 자제
의견 충돌이 발생하더라도 인신공격 없이 논리적인 대화 로 해결하도록 합니다. 지속적으로 분쟁을 유발하는 행위는 경고 또는 차단 조치의 대상이 됩니다.
- 5. 게시글 및 댓글 작성 기준
허위정보, 루머, 도배, 낚시성 게시물 은 삭제될 수 있습니다. 컨텐츠 관련 비판은 허용하되, 사람을 향한 비난은 허용되지 않습니다.
- 6. 공유 링크는 base64로 암호화 필수 (즉 본문 링크는 base64로 복호화 필요)
※연재처의 링크는 암호화 대상에서 제외합니다※
- 7. 닉네임 언급 및 친목 금지.