다시는 라데온을 무시하지 않겠습니다
로컬 모델을 이용한 번역 하네스 엔지니어링 환경 구축을 위해 창고에서 잠자고 있던 우리집 최약체 라데온 3종을 깨웠다
1. RX 6900XT LC 16GB + RX 6800XT LC 16GB = VRAM 32GB
가오가이가 + 골디마그 = 히카리니이이이! 나레에에에엣!
역시나 걸음이 느린 아이 AMD네...CUDA에 비벼본다고 AMD가 밀던 ROCm이 이렇게 성능이 많이 올라왔을 줄은 생각도 못했다 속도면에서 많이 밀릴거라 생각했는데 예상을 뒤엎고 실시간 번역기에 대응 턱걸이로 가능한 퍼포먼스를 보여줬음. 이제 이 본체는 이제 24시간 QA / 번역용 에이전트로 쓰일 예정
2. RADEON VII 16GB 레퍼런스 에디션
얘는 AMD의 플루이드모션 빼곤 아무도 그리워하지 않는, 큰거온다 큰거온다 하다가 매번 실망을 준, 암드는 나와야봐야 안다 암레발이다의 굴욕적인 이미지를 모두에게 각인시켰던 희망고문 물로켓 GCN 아키텍처의 마지막 제품...그냥 박물관 감성 ( 을 빙자한 야동 프레임 뻥튀기용 ) 으로 남겨놨던 녀석인데...얠 AI용으로 쓰게 되는 날이 올 줄이야.
ROCm은 당연히 지원 못하는 관절염 할배지만 젬마 4 26B Q4 정도는 아슬아슬하게 소화 가능...! AI는 역시 램으로 시작해서 램으로 끝난다.
자 이제 이 퇴역군인 할배들로 어떤 병신같고 천박한 짓을 해낼 수 있을지 설렌다
*라데온으로 젬마4를 LM 스튜디오로 돌려보고 싶으신 분들은 딱 세가지만 기억하세요
1. AMD 공홈에서 HIP SDK 통합 드라이버를 받아 설치한다 (재부팅 필수)
https://www.amd.com/ko/developer/resources/rocm-hub/hip-sdk.html
2. LM 스튜디오를 설치한다
3. 허깅페이스에서 내 체급에 맞는 젬마4를 받아 LM스튜디오에서 로드한다
- 다운로드 받을 모델 용량이 내 VRAM보다 충분히 작으면 로드 가능하니 금방 감 잡을거임 Q4 미만 체급은 번역에서는 추천하지 않는다 번역문이 랜덤하게 찐빠날 확률이 점점 증가하므로...
- VRAM 6GB 이하 : Gemma 4 E2B
https://huggingface.co/mradermacher/gemma-4-E2B-it-heretic-ara-GGUF
- VRAM 8GB 이하 : Gemma 4 E4B
https://huggingface.co/mradermacher/gemma-4-E4B-it-ultra-uncensored-heretic-GGUF
- VRAM 16GB 이상 24GB 이하 : Gemma 4 26B A4B
https://huggingface.co/mradermacher/gemma-4-26B-A4B-it-ultra-uncensored-heretic-i1-GGUF
- VRAM 24GB 이상 : Gemma 4 31B
https://huggingface.co/mradermacher/gemma-4-31b-it-heretic-ara-i1-GGUF
heretic 모델로 통일한 이유는 솜붕이들은 음어와 각종 '못된 짓💓' 묘사가 검열될 가능성이 있는 모델은 용서하지 못할 테니까...
그럼 다들 쿨하고 섹시하고 인텔리전트하게 딸치자
