로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4582 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60599
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60599 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90603
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90603 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204974
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204974 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252774
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252774 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243376
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243376 -14
일반
꼴리는 야겜 찾는법.txt
애널
05/19
2332
0
꼴리는 야겜 찾는법.txt
일반
애널
05/19 2332 0
창작
Ai 소설) 성이 잠들 때
tajiri001
05/19
4265
3
Ai 소설) 성이 잠들 때
창작
tajiri001
05/19 4265 3
복구
[요청보급] OreNo小屋 서클 게임 4개
summer4552
05/19
23294
53
[요청보급] OreNo小屋 서클 게임 4개
복구
summer4552
05/19 23294 53
질문
쿠노이치 세키렌 1-3 이거 어떻게 깸?
zeus012
05/19
2499
0
쿠노이치 세키렌 1-3 이거 어떻게 깸?
질문
zeus012
05/19 2499 0
질문
마나카처럼 개쩌는 노출물 출시 예정인겜 있음?
FGFFG0829
05/19
4635
0
마나카처럼 개쩌는 노출물 출시 예정인겜 있음?
질문
FGFFG0829
05/19 4635 0
영상
[후원보급] V+OBruWIpeWupCAoV+OBruS6uik 모음집
hannanas
05/19
22589
101
[후원보급] V+OBruWIpeWupCAoV+OBruS6uik 모음집
영상
hannanas
05/19 22589 101
복구
실비김치 4.0.6 (공유)
little Demon
05/19
17988
64
실비김치 4.0.6 (공유)
복구
little Demon
05/19 17988 64
질문
손신, tunnel escape 같은 게임 추천 받을수있을까요?
rhk8888
05/19
1524
0
손신, tunnel escape 같은 게임 추천 받을수있을까요?
질문
rhk8888
05/19 1524 0
미번
음최도시 휴프노즘 1.08
SML
05/19
14536
30
음최도시 휴프노즘 1.08
미번
SML
05/19 14536 30
질문
시니시스타2 거머리알 1 안사라지는거 버그인가요
sndbfb
05/19
2614
0
시니시스타2 거머리알 1 안사라지는거 버그인가요
질문
sndbfb
05/19 2614 0
질문
응석받이 여름 겨울 차이있음?
sadklfjsdfk
05/19
2151
0
응석받이 여름 겨울 차이있음?
질문
sadklfjsdfk
05/19 2151 0
일반
시니시스터 이거 쉽지않네...
ㅇㅇ
05/19
6398
0
시니시스터 이거 쉽지않네...
일반
ㅇㅇ
05/19 6398 0
요청
음최도시 휴프노즘 복구 요청합니다 ㅠㅠ
hyejin0803
05/19
2903
0
음최도시 휴프노즘 복구 요청합니다 ㅠㅠ
요청
hyejin0803
05/19 2903 0
질문
창관 경영 게임 추천좀요
arisu0223
05/19
2670
0
창관 경영 게임 추천좀요
질문
arisu0223
05/19 2670 0
일반
메피슬롯 이거 은근 존나 재밌기는 한데...
laskokoi
05/19
2011
2
메피슬롯 이거 은근 존나 재밌기는 한데...
일반
laskokoi
05/19 2011 2
요청
[복구요청]어느 유부녀의 네토라레 사정,어느 유부녀의 네토라레 사정 2,어느 유부녀의 네토라레 사정 『Y』(폐기물)
dropdr
05/19
4579
8
[복구요청]어느 유부녀의 네토라레 사정,어느 유부녀의 네토라레 사정 2,어느 유부녀의 네토라레 사정 『Y』(폐기물)
요청
dropdr
05/19 4579 8
질문
이상적인 히키코모리 부녀생활 질문..
alphasquize
05/19
2873
0
이상적인 히키코모리 부녀생활 질문..
질문
alphasquize
05/19 2873 0
요청
[복구요청] 나디아의 보물 (Treasure of Nadia)
ckjskflfdsa
05/19
2351
2
[복구요청] 나디아의 보물 (Treasure of Nadia)
요청
ckjskflfdsa
05/19 2351 2
일반
고양이섬 페트리콜 야겜 아니네
skwidj12
05/19
3001
0
고양이섬 페트리콜 야겜 아니네
일반
skwidj12
05/19 3001 0
야짤
언홀메 공략 보니까 다들 초회는 처녀플 하는 거 같네
stealthmania
05/19
6092
4
언홀메 공략 보니까 다들 초회는 처녀플 하는 거 같네
야짤
stealthmania
05/19 6092 4
피드백
유니슨 코드 1.06 해봤는데
지나가던잉여
05/19
5517
1
유니슨 코드 1.06 해봤는데
피드백
지나가던잉여
05/19 5517 1
질문
던브 안개섬 황금인어상 어떻게 얻음?
morisaga
05/19
2829
0
던브 안개섬 황금인어상 어떻게 얻음?
질문
morisaga
05/19 2829 0
정보
아득한 세레스피아 1.05 버전 치트가 필요한 분 ~
SML
05/19
8139
10
아득한 세레스피아 1.05 버전 치트가 필요한 분 ~
정보
SML
05/19 8139 10
동인
[AI번역][Aiue Oka] 최면성지도 컬러+complete Edition (p.518)
mybest
05/19
32822
237
[AI번역][Aiue Oka] 최면성지도 컬러+complete Edition (p.518)
동인
mybest
05/19 32822 237
일반
진짜 꼴리는 걸 찾으려면 번역탭이 아니라 복구탭을 가는 게 맞는듯
난민1호
05/19
2589
3
진짜 꼴리는 걸 찾으려면 번역탭이 아니라 복구탭을 가는 게 맞는듯
일반
난민1호
05/19 2589 3
질문
올라왔었던 수묵화풍? 야짤 아시는분
ailw1
05/19
2202
0
올라왔었던 수묵화풍? 야짤 아시는분
질문
ailw1
05/19 2202 0
일반
야겜 가뭄이라서 노가다겜하는중임
여동생킬러
05/19
2533
0
야겜 가뭄이라서 노가다겜하는중임
일반
여동생킬러
05/19 2533 0
일반
agent 요즘 신캐 개대충 만든다 싶더니
쿸쿠쿠쿠쿠
05/19
6905
2
agent 요즘 신캐 개대충 만든다 싶더니
일반
쿸쿠쿠쿠쿠
05/19 6905 2
일반
NTR 가족 작년이랑 다른거 있나??
skwidj12
05/19
3986
-1
NTR 가족 작년이랑 다른거 있나??
일반
skwidj12
05/19 3986 -1
일반
너희도 이걸 봐야함
gooner
05/19
4850
-11
너희도 이걸 봐야함
일반
gooner
05/19 4850 -11
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43