LM Studio로 로컬 ai를 활용해보기 + 추천 모델

https://lmstudio.ai/download

여기서 다운 받음. 윈도우용.

x86이라고 되어있는데 다운 받으면 x64로 되어있음. 정상.

Download LM Studio - Mac, Linux, Windows

Discover, download, and run local LLMs

이 글을 쓰는 시점 LM-Studio-0.4.19-2-x64.exe 가 최신.

1

설치하고 최초 구동하면

‘니 컴에 맞는 모델을 추천…’어쩌구 저쩌구 영어로 있음. 그거는 스킵하고 넘어감.

그리고 뜬 창이 이것.

(좌측 하단 톱니 누르면 설정에 한국어 있음. 근데 미번이 너무 많음)

좌측 상단을 보면 4개의 버튼이 있음(맨 위가 보라색)

여기서 네번째 버튼을 누름.

1

여기서 모델을 검색해서 받음.

1

예를 들면 이렇게.

여기서 우측에 보면 모델명이 있고 다운로드 버튼이 보이는데,

다운 버튼 위에 드롭단추를 누르면 프로그램이 자동으로 추천하는 모델 외에도 본인이 직접 고를 수 있음.

1

이런 식임.

좋아요 표시가 추천 모델, 다운로디드는 내가 다운로드를 완료한 모델.

녹색 버튼 표시는 ‘당신의 GPU에서 이 모델을 풀로드로 쓸 수 있음’ 표시임.

당연히 밑으로 내려갈수록 퀄리티가 좋아지는 대신 높은 하드웨어 스펙을 요구.

파란 버튼 표시는 ‘니 GPU로 이거 돌릴수는 있어도 풀로드는 불가’ 표시임.

여튼 나는 llmfan46 이라는 개발자가 개조한 젬마4 모델(양자화는 Q6_K)를 고름.

이하, 본인이 굴릴 수 있는 모델을 다운로드 받았다는 가정하에 설명 진행함.

다운로드 끝나면 세번째 버튼으로 감.

1

우측에 보면 인포, 로드, 인터페이스가 있는데 인포는 건들릴게 없음.

로드에서는 컨텍스트를 8192 정도로 해주면 됨. 2의 13제곱.

밑의 오프로딩은 최대값으로. 기본값이 최대일거임. 파란선으로 보이는건 저쪽 슬라이드 건드리면 저렇게 됨.

이렇게 로드에서는 두 가지 건드려 놓고, 다른거는 건드리지 말 것.

1

인터페이스로 감.

다운받은 모델에 추론기능이 있다면 리저닝 부분에 저렇게 토글 표시가 있을거임.

인에이블 팅킹이라고, 저것은 반드시 끌 것.

이 후 시스템 프롬프트에도 Do not use the thinking process. 라고 써서 한 번 더 강조해 줌.

추론 기능이 없는 모델이면 리저닝에 토글 버튼이 없고 영어로 뭐라 써있음. 무시.

이 외 건드릴 것 없음.

여튼 설정을 무엇든지 하나라도 건드리면 중앙 상단의 톱니바퀴에 빨간점이 뜸. 신경 쓸 것 없음.

이제 두번째 버튼으로 감.

1

서버세팅 누르면 밑에서 두번째 메뉴에 자동 언로드라고 있음. 기본값은 켜짐인데 꺼짐으로 변경.

그리고 서버포트는 기본값이 1234로 되어있는데 자유롭게 변경 가능하지만 굳이 바꿀 이유는 없음.

그런데 아주 드물게 1234번 포트를 다른 프로그램이 점유하고 있을 수도 있음.

그 경우에는 서버 가동이 안됨.

이것은 윈도우가 매 부팅때마다 포트가 필요한 프로그램에 무작위로 포트번호를 부여하는데, 로또 당첨으로 1234가 걸린거임.

재부팅하면 또다시 무작위 부여를 하기 때문에 통상 해결되지만 1234 포트를 아예 ‘무작위 분배에서 제외’ 시키고 싶다면 아래를 따라할 것.

1 - 명령프롬프트(cmd)를 관리자 권한으로 실행

2 - net stop winnat

3 - netsh int ipv4 add excludedportrange protocol=tcp startport=1234 numberofports=1

4 - net start winnat

5 - cmd 종료

이러면 1234번 포트는 예외가 됨. 즉 LM Studio에서 1234 포트를 쓸 때 절대 충돌이 날 일이 없음.

설정을 해제하고 싶다면

1 - 명령프롬프트(cmd)를 관리자 권한으로 실행

2 - net stop winnat

3 - netsh int ipv4 delete excludedportrange protocol=tcp startport=1234 numberofports=1

4 - net start winnat

5 - cmd 종료

을 하면 됨.

여튼 이후, 화면 상단 중앙에서 약간 오른쪽에 있는 파란색의 로드 모델을 누른다.

1

내가 가지고 있는 모델이 뜸.(노믹 임베드 뭐시기는 기본적으로 가지고 있는 것으로 쓸 일 없고, 무시하면 됨.)

저기서 내 모델을 선택하면 로드가 시작된다.

1

로드가 완료 된 모습.

가린 것은 솜붕이의 디렉토리로 사용자명이 노출되기 때문에 가렸다.

이제 이 상태에서 상단의 Status 를 한 번 클릭해주면

Stopped가 Running로 바뀐다. 이러면 로컬 ai를 사용할 준비가 끝난 것이다.

모델에 따라 다르지만, RAM과 VRAM을 굉장히 크게 점유하기 때문에

자기 하드웨어 스펙에 맞는 걸 고르는게 중요하다.

우측 중앙의 API Model Identifier 가 이 모델의 정확한 이름이 된다.

솜붕이의 모델은 gemma-4-26b-a4b-it-ultra-uncensored-heretic 이다. (llmfan46 / Q6_K)

이제 이것을 이용해 할 수 있는 건

1 - cmd에서 파이썬 코드를 이용하여 번역하기(번역용 파이썬 코드를 제작하거나, 게임에서 텍스트를 추출하는 건 또 다른 이야기…-_-)

2 - 루나 트랜스레이터에서 번역기로 활용하기(고급 모델이더라도 루나의 시스템프롬프트 편집과 사용자사전 편찬은 필수. 퀄 좋고 속도 매우 빠름.)

3 - 크롬의 웹사이트 번역 확장프로그램 Immersive Translate 에서 로컬 번역기로 활용하기(똥쓰레기 같은 크롬의 기본 번역 쓰다가 이걸 쓰게되면 세상이 달라짐. 물론 다소 고급 모델을 써야 하긴 함.)

것들이 되겠다.

일을 다 마쳤으면 서버를 멈추고, 이젝트 버튼을 눌러 모델을 언로드 하면 된다(그래야 램과 브램이 확보되므로).

물론 여유가 있다면 상시로 로드해 놔도 전혀 상관 없다.

가용 모델 정리

브램 8 / 16 / 24 / 32 순으로 색깔별 정리를 했다.

gemma-4-e4b-it-ultra-uncensored-heretic (Q8_0)

gemma-4-12B-it-qat-q4_0-uncensored-heretic-GGUF

gemma-4-26B-A4B-it-ultra-uncensored-heretic-GGUF (Q4_K_S)

gemma-4-26B-A4B-it-ultra-uncensored-heretic-GGUF (Q4_K_M)

gemma-4-26B-A4B-it-ultra-uncensored-heretic-GGUF (Q5_K_S)

gemma-4-26B-A4B-it-ultra-uncensored-heretic-GGUF (Q5_K_M)

gemma-4-26B-A4B-it-ultra-uncensored-heretic-GGUF (Q6_K)

덧. 해당 모델은 테코키를 수음이라고 번역해서 대딸이나 핸드잡이라고 사전 등록을 해 놔야 맘이 편하다….-_-