로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4682 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60605
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60605 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90674
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90674 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205093
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205093 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252888
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252888 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243509
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243509 -14
요청
[복구요청] RJ01489602 고블린 조련사의 육성 비록_apend_ver.1.03
ddd3362
05/22
2058
3
[복구요청] RJ01489602 고블린 조련사의 육성 비록_apend_ver.1.03
요청
ddd3362
05/22 2058 3
질문
엄청나게 재밌는 야겜을 하고싶은데 땡기는게 없음...
bigpengen
05/22
2103
0
엄청나게 재밌는 야겜을 하고싶은데 땡기는게 없음...
질문
bigpengen
05/22 2103 0
질문
님들 드라프물 야겜 괜찮은거 있음??
azezazazezaz
05/22
3006
0
님들 드라프물 야겜 괜찮은거 있음??
질문
azezazazezaz
05/22 3006 0
일반
타인 자료 무단 사용이 좀 웃긴게
루미네순애
05/22
2770
-11
타인 자료 무단 사용이 좀 웃긴게
일반
루미네순애
05/22 2770 -11
소리
[보이스코믹][구매보급][한] 집에 있었던 망령이 나랑 친해져서 암컷을 빙의해온 건 EX
책먹는망아지
05/22
10026
90
[보이스코믹][구매보급][한] 집에 있었던 망령이 나랑 친해져서 암컷을 빙의해온 건 EX
소리
책먹는망아지
05/22 10026 90
질문
Rotkaappchen2 0.2.7 버전 목장 구간 어캐 하는 거야?
cookie9999
05/22
1408
0
Rotkaappchen2 0.2.7 버전 목장 구간 어캐 하는 거야?
질문
cookie9999
05/22 1408 0
영상
릴 젠존제 엽빛나 더빙
EPanDS
05/22
16090
131
릴 젠존제 엽빛나 더빙
영상
EPanDS
05/22 16090 131
일반
내가 충간을 먹게된 계기가 뭐였더라...
ㅇㅇ
05/22
2933
0
내가 충간을 먹게된 계기가 뭐였더라...
일반
ㅇㅇ
05/22 2933 0
질문
느슨한 서바이벌 플레이중 질문입니다.
altari
05/22
3673
0
느슨한 서바이벌 플레이중 질문입니다.
질문
altari
05/22 3673 0
야짤
91. AI, 청아) 두가지 맛 미쿠
miso5
05/22
10537
71
91. AI, 청아) 두가지 맛 미쿠
야짤
miso5
05/22 10537 71
질문
혹시 여주물 재밌는거 추천해줄 수 있음?
nagisa8262
05/22
3638
0
혹시 여주물 재밌는거 추천해줄 수 있음?
질문
nagisa8262
05/22 3638 0
요청
[복구요청][영상] 장리 (명조)
blackblgdick
05/22
3183
3
[복구요청][영상] 장리 (명조)
요청
blackblgdick
05/22 3183 3
정보
간호사경비원 dlc2 6월 9일 출시
머겅머겅
05/22
3879
13
간호사경비원 dlc2 6월 9일 출시
정보
머겅머겅
05/22 3879 13
요청
[복구요청] RXJpbw== 모음 복구요청 드립니다!!
염지
05/22
2770
1
[복구요청] RXJpbw== 모음 복구요청 드립니다!!
요청
염지
05/22 2770 1
정보
전국 란스 스팀 출시 Q4 2026
공승아
05/22
3757
20
전국 란스 스팀 출시 Q4 2026
정보
공승아
05/22 3757 20
동인
(일부직번) [Gagarin Kichi] 빼앗긴 폭유 아내 시리즈 -총집편-
kason
05/22
26046
129
(일부직번) [Gagarin Kichi] 빼앗긴 폭유 아내 시리즈 -총집편-
동인
kason
05/22 26046 129
질문
보급한 솜붕이가 허락 해줄 때까지 번역통합 못 올리지?
fdzzz
05/22
3120
1
보급한 솜붕이가 허락 해줄 때까지 번역통합 못 올리지?
질문
fdzzz
05/22 3120 1
질문
의술사 요기 못감?
nghj7722
05/22
3996
0
의술사 요기 못감?
질문
nghj7722
05/22 3996 0
질문
던브 라드미라 3층 여기 어케 가야함?
ds4anq
05/22
3741
0
던브 라드미라 3층 여기 어케 가야함?
질문
ds4anq
05/22 3741 0
일반
시니시스타2 1.3.1로 업데이트 됨
forzzal001
05/22
5575
1
시니시스타2 1.3.1로 업데이트 됨
일반
forzzal001
05/22 5575 1
일반
판티아 검열때문에 후원한 작가들 다 옮기네;;
name678
05/22
2700
1
판티아 검열때문에 후원한 작가들 다 옮기네;;
일반
name678
05/22 2700 1
일반
하 이미지번역 ㅈㄴ 어렵네 그냥 개씨발
fdzzz
05/22
2814
5
하 이미지번역 ㅈㄴ 어렵네 그냥 개씨발
일반
fdzzz
05/22 2814 5
일반
프래그마타 보고 꼴리면 비정상임?
세브란스
05/22
2971
3
프래그마타 보고 꼴리면 비정상임?
일반
세브란스
05/22 2971 3
일반
본체보다 꼴리는년..
nagisa8262
05/22
2525
0
본체보다 꼴리는년..
일반
nagisa8262
05/22 2525 0
일반
애자매 윈도우리메이크 버전은
anewro8888
05/22
3081
-3
애자매 윈도우리메이크 버전은
일반
anewro8888
05/22 3081 -3
질문
시퀄 블라이트 캐주얼로 해도 나중에 어려워지나?
arknight
05/22
3827
0
시퀄 블라이트 캐주얼로 해도 나중에 어려워지나?
질문
arknight
05/22 3827 0
질문
혹시 이미지 파일 번역잘 하는 사람 있나
fdzzz
05/22
2058
0
혹시 이미지 파일 번역잘 하는 사람 있나
질문
fdzzz
05/22 2058 0
요청
[복구요청][RJ01187378미번]+[AI][미검수] 그 여름 ~미캉의 여름방학~ 스팀 노모 ver.1.1.2 (26.04.10)
ㄴㅊ
05/22
3954
0
[복구요청][RJ01187378미번]+[AI][미검수] 그 여름 ~미캉의 여름방학~ 스팀 노모 ver.1.1.2 (26.04.10)
요청
ㄴㅊ
05/22 3954 0
질문
알미오시온의 의술사 난이도 변경
쌀뜨물
05/22
3274
0
알미오시온의 의술사 난이도 변경
질문
쌀뜨물
05/22 3274 0
후기 및 공략
여자수집가 커스텀해봤음
oimasage
05/22
3639
9
여자수집가 커스텀해봤음
후기 및 공략
oimasage
05/22 3639 9
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43