R9700 지름
차마 이 시국에 5090을 지르는 짓은 저지를 수 없었음
5080 중고 220쯤 받는다 쳐도 근 800만을 더 쳐발라야하고
거기다가 DAS 추가 비용까지 생각하면 끔찍함
쿠다도 그렇고 대역폭차이도 있어서 저용량 모델 돌릴 때는 아무래도 5080이 훨 빠르겠지만
번역퀄 제대로 나올라면 큰 모델 돌릴 수 밖에 없고
그림이나 동영상하는 것도 아니니까 쿠다 딱히 필요없어서 이정도가 적당한 것도 같음
메인보드 2슬롯에 설치하는 것부터 개삽질의 연속이었는데
아무리해도 윈도우에서 인식이 안되서 챗지피티랑 제미나이에게 물어보고 별짓거릴 다했는데
알고보니 파워스위치랑 리셋스위치 부분에 가이드 달아놓은 거가 생각보다 높아서
그것 때문에 글카가 완전히 결착되질 않아서 인식이 안됐던 거였음
그리고 병신같은 아드레날린은 설치부터 윈도우 업뎃도 안뜬 상태인데 오류 202로 설치조차 안되서
수동으로 드라이버 다시 잡아주고 하고 난리도 아녔음
혹시 초기 불량이면 그냥 환불 때리고 DAS는 반품하려고 뜯지도 않았는데 내일은 또 그거 가지고 삽질해야하나 싶은
아무튼
gemma-4-31B-it-uncensored-heretic-Q6_K.gguf
이거 넣고도
안정적으로 GPU에 다 채워넣음
그러고도 5긱 넘게 남는다
전력제한을 최대로 걸어서 70퍼로 걸어놨더니 소비전력은 240w 정도까지 떨어짐
100퍼일 때 340w 정도 먹는다니 100w 정도 세이브
워크스테이션용이라 블로워팬이다보니 풀로드 소음이 매미리스함
그래도 막 듣기 싫은 높은 톤의 소리도 아니고 2~30초 돌다가 다시 내려가는 식이라 딱히 못견디겠다 싶은 수준은 아님
온도는 방온도 26도인 상황에서
GPU 핫스팟이 최대 89도
메모리 접합은 92도까지 올라감
여름에는 에어컨 필수일듯
청크 3000, 컨텍스트 16k, 3만자 기준
번역시간은 31b-q6
43분 16초
31b-q3을 5080에 컨텍스트 16k 청크 3000으로 1시간 23분이 걸렸는데 더 고용량 모델인데도 절반으로 줄어듦
26b-q8
10분 24초
빠르긴 빠르다
s/ainovel
• 8,080 subscribers- 1. ※번역 요청 규칙※
본문에 원문 또는 후기 혹은 원문과 후기 둘 다 포함 필수. ex. [후기] 검도지로 1~2340 완; 또는 [원문/후기] 검도지로 1~2340 완 그 외 번역 요청은 이 글이 아닌 번역 요청 공지글에 댓글로 작성해주세요. 타 사이트의 자료 요청 금지. ※요청 규칙 미숙지시 7일 차단※
- 2. ※복구 요청 규칙※
원글 링크를 붙여주세요. 복구 자료는 복구 요청글의 링크를 첨부해주세요. 복구 요청은 공유할때까지 도배하지말고 기다려주세요. ※요청 규칙 미숙지시 7일 차단※
- 3. 욕설 및 비속어 금지
욕설, 비하, 혐오, 성적인 발언, 정치적 조롱 등은 일절 금지합니다. 상대를 직접적으로 공격하거나 조롱하는 행위는 즉시 제재 대상이 됩니다.
- 4. 분쟁 자제
의견 충돌이 발생하더라도 인신공격 없이 논리적인 대화 로 해결하도록 합니다. 지속적으로 분쟁을 유발하는 행위는 경고 또는 차단 조치의 대상이 됩니다.
- 5. 게시글 및 댓글 작성 기준
허위정보, 루머, 도배, 낚시성 게시물 은 삭제될 수 있습니다. 컨텐츠 관련 비판은 허용하되, 사람을 향한 비난은 허용되지 않습니다.
- 6. 공유 링크는 base64로 암호화 필수 (즉 본문 링크는 base64로 복호화 필요)
※연재처의 링크는 암호화 대상에서 제외합니다※
- 7. 닉네임 언급 및 친목 금지.