로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4588 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60599
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60599 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90608
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90608 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204978
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204978 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252775
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252775 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243384
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243384 -14
일반
쯔끄루가 입에 안맞으니까 너무 괴롭다
mkasdo
05/19
2214
-2
쯔끄루가 입에 안맞으니까 너무 괴롭다
일반
mkasdo
05/19 2214 -2
일반
타락보다는 그냥 청순한 상태가 꼴린다
인생좆망함
05/19
1613
3
타락보다는 그냥 청순한 상태가 꼴린다
일반
인생좆망함
05/19 1613 3
일반
요몽원 이거 생각보다 빡세네
lefrah3
05/19
2597
0
요몽원 이거 생각보다 빡세네
일반
lefrah3
05/19 2597 0
일반
멍청한 소붕이 허접❤️
아이기스맘
05/19
1301
5
멍청한 소붕이 허접❤️
일반
아이기스맘
05/19 1301 5
일반
실비보험 제작자가 ㄹㅇ 뚝심있는것같음
ㅇㅇ
05/19
3469
-3
실비보험 제작자가 ㄹㅇ 뚝심있는것같음
일반
ㅇㅇ
05/19 3469 -3
일반
좆 됐 다!
사과맛오징어
05/19
3145
1
좆 됐 다!
일반
사과맛오징어
05/19 3145 1
일반
미망인 설녀3 드디어 표지 떴네
kjalar
05/19
4057
0
미망인 설녀3 드디어 표지 떴네
일반
kjalar
05/19 4057 0
일반
아오 당근파스타 개발소식 올렸나 했더니
그거아님
05/19
2254
0
아오 당근파스타 개발소식 올렸나 했더니
일반
그거아님
05/19 2254 0
일반
꼴리는 야겜 찾는법.txt
애널
05/19
2332
0
꼴리는 야겜 찾는법.txt
일반
애널
05/19 2332 0
일반
시니시스터 이거 쉽지않네...
ㅇㅇ
05/19
6398
0
시니시스터 이거 쉽지않네...
일반
ㅇㅇ
05/19 6398 0
일반
메피슬롯 이거 은근 존나 재밌기는 한데...
laskokoi
05/19
2011
2
메피슬롯 이거 은근 존나 재밌기는 한데...
일반
laskokoi
05/19 2011 2
일반
고양이섬 페트리콜 야겜 아니네
skwidj12
05/19
3001
0
고양이섬 페트리콜 야겜 아니네
일반
skwidj12
05/19 3001 0
일반
진짜 꼴리는 걸 찾으려면 번역탭이 아니라 복구탭을 가는 게 맞는듯
난민1호
05/19
2589
3
진짜 꼴리는 걸 찾으려면 번역탭이 아니라 복구탭을 가는 게 맞는듯
일반
난민1호
05/19 2589 3
일반
야겜 가뭄이라서 노가다겜하는중임
여동생킬러
05/19
2533
0
야겜 가뭄이라서 노가다겜하는중임
일반
여동생킬러
05/19 2533 0
일반
agent 요즘 신캐 개대충 만든다 싶더니
쿸쿠쿠쿠쿠
05/19
6905
2
agent 요즘 신캐 개대충 만든다 싶더니
일반
쿸쿠쿠쿠쿠
05/19 6905 2
일반
NTR 가족 작년이랑 다른거 있나??
skwidj12
05/19
3989
-1
NTR 가족 작년이랑 다른거 있나??
일반
skwidj12
05/19 3989 -1
일반
너희도 이걸 봐야함
gooner
05/19
4852
-11
너희도 이걸 봐야함
일반
gooner
05/19 4852 -11
일반
존재감 여동생은 진짜 계륵 그 자체네
ㅇㅇ
05/19
4546
2
존재감 여동생은 진짜 계륵 그 자체네
일반
ㅇㅇ
05/19 4546 2
일반
오랜만에 H 영지 할려했더니
아이셔
05/19
2751
1
오랜만에 H 영지 할려했더니
일반
아이셔
05/19 2751 1
일반
의술사는 한 4부작? 정도로 나올것같음
ㅇㅇ
05/19
3515
0
의술사는 한 4부작? 정도로 나올것같음
일반
ㅇㅇ
05/19 3515 0
일반
[크리매니아&시모바시라] AI 성능 좋네 ㅋㅋㅋ
owner123
05/19
2467
8
[크리매니아&시모바시라] AI 성능 좋네 ㅋㅋㅋ
일반
owner123
05/19 2467 8
일반
이번 주말에 비타퀘 노모 도전 해봄!
sinbiru
05/19
2195
15
이번 주말에 비타퀘 노모 도전 해봄!
일반
sinbiru
05/19 2195 15
일반
배에 음문 생긴 여기사 이거 클리어 못하겟음....
digksrj
05/19
2826
-2
배에 음문 생긴 여기사 이거 클리어 못하겟음....
일반
digksrj
05/19 2826 -2
일반
집가서 던브 창고정리나 해줘야지..
fusbriwidhei32
05/19
4354
0
집가서 던브 창고정리나 해줘야지..
일반
fusbriwidhei32
05/19 4354 0
일반
스포)던브하는 도중 살짝 빡쳤었는데
느아아앗
05/19
2635
0
스포)던브하는 도중 살짝 빡쳤었는데
일반
느아아앗
05/19 2635 0
일반
존재감 여동생 언제 업뎃하는지 볼려고 dl 댓글 보는데 민심 씹창이네
pajama
05/19
3078
0
존재감 여동생 언제 업뎃하는지 볼려고 dl 댓글 보는데 민심 씹창이네
일반
pajama
05/19 3078 0
일반
와 DLsite 안드판 앵간하면 사지 말아야겟다
TNT
05/19
2813
1
와 DLsite 안드판 앵간하면 사지 말아야겟다
일반
TNT
05/19 2813 1
일반
유명한 스쿨데이즈 애니 봄
djwa123
05/19
3249
0
유명한 스쿨데이즈 애니 봄
일반
djwa123
05/19 3249 0
일반
요즘은 대놓고 청아캐가 메인 히로인이 아니면
laskokoi
05/19
3100
0
요즘은 대놓고 청아캐가 메인 히로인이 아니면
일반
laskokoi
05/19 3100 0
일반
드디어 완성했다
nagisa8262
05/19
2371
1
드디어 완성했다
일반
nagisa8262
05/19 2371 1
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43