다시는 라데온을 무시하지 않겠습니다

로컬 모델을 이용한 번역 하네스 엔지니어링 환경 구축을 위해 창고에서 잠자고 있던 우리집 최약체 라데온 3종을 깨웠다

1. RX 6900XT LC 16GB + RX 6800XT LC 16GB = VRAM 32GB

1

가오가이가 + 골디마그 = 히카리니이이이! 나레에에에엣!

역시나 걸음이 느린 아이 AMD네...CUDA에 비벼본다고 AMD가 밀던 ROCm이 이렇게 성능이 많이 올라왔을 줄은 생각도 못했다 속도면에서 많이 밀릴거라 생각했는데 예상을 뒤엎고 실시간 번역기에 대응 턱걸이로 가능한 퍼포먼스를 보여줬음. 이제 이 본체는 이제 24시간 QA / 번역용 에이전트로 쓰일 예정

2. RADEON VII 16GB 레퍼런스 에디션

1

얘는 AMD의 플루이드모션 빼곤 아무도 그리워하지 않는, 큰거온다 큰거온다 하다가 매번 실망을 준, 암드는 나와야봐야 안다 암레발이다의 굴욕적인 이미지를 모두에게 각인시켰던 희망고문 물로켓 GCN 아키텍처의 마지막 제품...그냥 박물관 감성 ( 을 빙자한 야동 프레임 뻥튀기용 ) 으로 남겨놨던 녀석인데...얠 AI용으로 쓰게 되는 날이 올 줄이야.

ROCm은 당연히 지원 못하는 관절염 할배지만 젬마 4 26B Q4 정도는 아슬아슬하게 소화 가능...! AI는 역시 램으로 시작해서 램으로 끝난다.

자 이제 이 퇴역군인 할배들로 어떤 병신같고 천박한 짓을 해낼 수 있을지 설렌다

*라데온으로 젬마4를 LM 스튜디오로 돌려보고 싶으신 분들은 딱 세가지만 기억하세요

1. AMD 공홈에서 HIP SDK 통합 드라이버를 받아 설치한다 (재부팅 필수)

https://www.amd.com/ko/developer/resources/rocm-hub/hip-sdk.html

AMD HIP SDK for Windows

Download the AMD ROCm HIP SDK for Windows.

2. LM 스튜디오를 설치한다

https://lmstudio.ai/download

Download LM Studio - Mac, Linux, Windows

Discover, download, and run local LLMs

3. 허깅페이스에서 내 체급에 맞는 젬마4를 받아 LM스튜디오에서 로드한다
 - 다운로드 받을 모델 용량이 내 VRAM보다 충분히 작으면 로드 가능하니 금방 감 잡을거임 Q4 미만 체급은 번역에서는 추천하지 않는다 번역문이 랜덤하게 찐빠날 확률이 점점 증가하므로...

- VRAM 6GB 이하 : Gemma 4 E2B

https://huggingface.co/mradermacher/gemma-4-E2B-it-heretic-ara-GGUF

mradermacher/gemma-4-E2B-it-heretic-ara-GGUF · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

- VRAM 8GB 이하 : Gemma 4 E4B

https://huggingface.co/mradermacher/gemma-4-E4B-it-ultra-uncensored-heretic-GGUF

mradermacher/gemma-4-E4B-it-ultra-uncensored-heretic-GGUF · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

- VRAM 16GB 이상 24GB 이하 : Gemma 4 26B A4B

https://huggingface.co/mradermacher/gemma-4-26B-A4B-it-ultra-uncensored-heretic-i1-GGUF

mradermacher/gemma-4-26B-A4B-it-ultra-uncensored-heretic-i1-GGUF · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

- VRAM 24GB 이상 : Gemma 4 31B

https://huggingface.co/mradermacher/gemma-4-31b-it-heretic-ara-i1-GGUF

mradermacher/gemma-4-31b-it-heretic-ara-i1-GGUF · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

heretic 모델로 통일한 이유는 솜붕이들은 음어와 각종 '못된 짓💓' 묘사가 검열될 가능성이 있는 모델은 용서하지 못할 테니까...

그럼 다들 쿨하고 섹시하고 인텔리전트하게 딸치자