kone
ainovel
ainovel

R9700 지름

잡담
8,748 views · 37 points

차마 이 시국에 5090을 지르는 짓은 저지를 수 없었음
5080 중고 220쯤 받는다 쳐도 근 800만을 더 쳐발라야하고
거기다가 DAS 추가 비용까지 생각하면 끔찍함

쿠다도 그렇고 대역폭차이도 있어서 저용량 모델 돌릴 때는 아무래도 5080이 훨 빠르겠지만

번역퀄 제대로 나올라면 큰 모델 돌릴 수 밖에 없고

그림이나 동영상하는 것도 아니니까 쿠다 딱히 필요없어서 이정도가 적당한 것도 같음

메인보드 2슬롯에 설치하는 것부터 개삽질의 연속이었는데

아무리해도 윈도우에서 인식이 안되서 챗지피티랑 제미나이에게 물어보고 별짓거릴 다했는데

알고보니 파워스위치랑 리셋스위치 부분에 가이드 달아놓은 거가 생각보다 높아서

그것 때문에 글카가 완전히 결착되질 않아서 인식이 안됐던 거였음

그리고 병신같은 아드레날린은 설치부터 윈도우 업뎃도 안뜬 상태인데 오류 202로 설치조차 안되서
수동으로 드라이버 다시 잡아주고 하고 난리도 아녔음

혹시 초기 불량이면 그냥 환불 때리고 DAS는 반품하려고 뜯지도 않았는데 내일은 또 그거 가지고 삽질해야하나 싶은

아무튼
gemma-4-31B-it-uncensored-heretic-Q6_K.gguf

이거 넣고도

1

안정적으로 GPU에 다 채워넣음

1

그러고도 5긱 넘게 남는다

1

전력제한을 최대로 걸어서 70퍼로 걸어놨더니 소비전력은 240w 정도까지 떨어짐

100퍼일 때 340w 정도 먹는다니 100w 정도 세이브

워크스테이션용이라 블로워팬이다보니 풀로드 소음이 매미리스함

그래도 막 듣기 싫은 높은 톤의 소리도 아니고 2~30초 돌다가 다시 내려가는 식이라 딱히 못견디겠다 싶은 수준은 아님

온도는 방온도 26도인 상황에서

GPU 핫스팟이 최대 89도

메모리 접합은 92도까지 올라감
여름에는 에어컨 필수일듯

청크 3000, 컨텍스트 16k, 3만자 기준

번역시간은 31b-q6

1

43분 16초

31b-q3을 5080에 컨텍스트 16k 청크 3000으로 1시간 23분이 걸렸는데 더 고용량 모델인데도 절반으로 줄어듦

26b-q8

1

10분 24초

빠르긴 빠르다

37
11 comments
개쩐다ㅋㅋㅋ
플렉스 ㄷㄷ
로컬 ai의 화려한 등장이네요. 이걸 위해서 글카까지 갈아치우셨다는 점에서 그저 박수를 칩니다.
클라우드 GPU 임대해서 번역하는건 어떰? 물론 유료이긴하지만 유료api하고 비용은 비슷한것같고, 검열은 없는것같은데.
것도 생각해보긴 했지만 생각보다 비싸기도 하고
번역에 어떻 프로그램인지 물어 봐도 될까요?
배치 번역기요
윈도우에서 아드레날린 오류는 왜 이렇게 많은가 싶음, 큰 회산데 이거 앱 제대로 못만드네
All
Title
Body