로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4582 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60599
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60599 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90603
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90603 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204974
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204974 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252774
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252774 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243376
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243376 -14
번역
[AI + 발] RJ01527035 - 은거 마녀와의 30일 v1.0.2 한글
fbeurb1290
05/19
37986
190
[AI + 발] RJ01527035 - 은거 마녀와의 30일 v1.0.2 한글
번역
fbeurb1290
05/19 37986 190
요청
[복구요청] RJ01180321 네네는 노출욕구가있다
ashleria
05/19
6552
1
[복구요청] RJ01180321 네네는 노출욕구가있다
요청
ashleria
05/19 6552 1
번역
[AI + 발] RJ01605313 - 수면간 시뮬레이션 9 v1.0.3 한글
fbeurb1290
05/19
39937
191
[AI + 발] RJ01605313 - 수면간 시뮬레이션 9 v1.0.3 한글
번역
fbeurb1290
05/19 39937 191
일반
타락보다는 그냥 청순한 상태가 꼴린다
인생좆망함
05/19
1613
3
타락보다는 그냥 청순한 상태가 꼴린다
일반
인생좆망함
05/19 1613 3
질문
의술사 하수도에 있는 ㅁ마을 여기 뭐임??
ㅇㅇ
05/19
4535
-1
의술사 하수도에 있는 ㅁ마을 여기 뭐임??
질문
ㅇㅇ
05/19 4535 -1
영상
TU1EdHlwZTg3 모음집 업데이트 알림
hannanas
05/19
15710
52
TU1EdHlwZTg3 모음집 업데이트 알림
영상
hannanas
05/19 15710 52
질문
왜 순애보다 ntr이 더 꼴릴까..
oimasage
05/19
3662
0
왜 순애보다 ntr이 더 꼴릴까..
질문
oimasage
05/19 3662 0
질문
비타퀘2 하기 전에 1편 하는게 좋음?
paddackmon
05/19
1707
0
비타퀘2 하기 전에 1편 하는게 좋음?
질문
paddackmon
05/19 1707 0
일반
요몽원 이거 생각보다 빡세네
lefrah3
05/19
2597
0
요몽원 이거 생각보다 빡세네
일반
lefrah3
05/19 2597 0
질문
비월선행록 떡신 장르가 뭐임?
코솔
05/19
3405
0
비월선행록 떡신 장르가 뭐임?
질문
코솔
05/19 3405 0
소리
잘했다, 솝붕.
gansik
05/19
15651
68
잘했다, 솝붕.
소리
gansik
05/19 15651 68
정보
maplestar 레제 예고
카오스
05/19
7374
30
maplestar 레제 예고
정보
카오스
05/19 7374 30
일반
멍청한 소붕이 허접❤️
아이기스맘
05/19
1301
5
멍청한 소붕이 허접❤️
일반
아이기스맘
05/19 1301 5
질문
던브 통합에로 사냥 어디서들 하시나여?
yohanijoa
05/19
2401
0
던브 통합에로 사냥 어디서들 하시나여?
질문
yohanijoa
05/19 2401 0
질문
sequel 해상도 질문
hatsutsu
05/19
3828
0
sequel 해상도 질문
질문
hatsutsu
05/19 3828 0
영상
야심한밤 호두 젖주작 조금있는 2가지맛
a27627142
05/19
23872
99
야심한밤 호두 젖주작 조금있는 2가지맛
영상
a27627142
05/19 23872 99
작업현황
관문지기 msg 작업 현황 - 3
fin768
05/19
7098
25
관문지기 msg 작업 현황 - 3
작업현황
fin768
05/19 7098 25
일반
실비보험 제작자가 ㄹㅇ 뚝심있는것같음
ㅇㅇ
05/19
3469
-3
실비보험 제작자가 ㄹㅇ 뚝심있는것같음
일반
ㅇㅇ
05/19 3469 -3
질문
cycle of corruption 이거 트루엔딩 어떻게 보는거요?
tycoon9678
05/19
2263
0
cycle of corruption 이거 트루엔딩 어떻게 보는거요?
질문
tycoon9678
05/19 2263 0
소리
[구매보급]최강의 쿠노이치를 쾌락조교 오호성인법첩,음법"감도배화의술"에 의해 타락한다
이름뭐하지
05/19
10626
59
[구매보급]최강의 쿠노이치를 쾌락조교 오호성인법첩,음법"감도배화의술"에 의해 타락한다
소리
이름뭐하지
05/19 10626 59
일반
좆 됐 다!
사과맛오징어
05/19
3145
1
좆 됐 다!
일반
사과맛오징어
05/19 3145 1
정보
닌진파스타] 🥕 축하! 당근 파스타 10주년! & 기념 미니 게임 배포 🎉
parksynim5764
05/19
6696
16
닌진파스타] 🥕 축하! 당근 파스타 10주년! & 기념 미니 게임 배포 🎉
정보
parksynim5764
05/19 6696 16
일반
미망인 설녀3 드디어 표지 떴네
kjalar
05/19
4057
0
미망인 설녀3 드디어 표지 떴네
일반
kjalar
05/19 4057 0
동인
[Tsukumo Nikyu] 윤정
1uF
05/19
18740
67
[Tsukumo Nikyu] 윤정
동인
1uF
05/19 18740 67
동인
[Chin] 마조암컷소프에 어서오세요
1uF
05/19
18411
93
[Chin] 마조암컷소프에 어서오세요
동인
1uF
05/19 18411 93
질문
던브 질문
lnlnlnlnln
05/19
2853
0
던브 질문
질문
lnlnlnlnln
05/19 2853 0
동인
[노모] 지구가 뜨끈뜨끈하니까 여자친구가 자지와 부랄을 후우후우 불어주는 책
질겨찾기
05/19
20825
60
[노모] 지구가 뜨끈뜨끈하니까 여자친구가 자지와 부랄을 후우후우 불어주는 책
동인
질겨찾기
05/19 20825 60
일반
아오 당근파스타 개발소식 올렸나 했더니
그거아님
05/19
2254
0
아오 당근파스타 개발소식 올렸나 했더니
일반
그거아님
05/19 2254 0
영상
[4K] 배구부 육덕 유부녀, 나오 씨 (35세)와 땀범벅 섹스♡
실루엣21
05/19
18591
84
[4K] 배구부 육덕 유부녀, 나오 씨 (35세)와 땀범벅 섹스♡
영상
실루엣21
05/19 18591 84
후기 및 공략
스포X) 의술사 다 깼음!
tkael
05/19
4262
6
스포X) 의술사 다 깼음!
후기 및 공략
tkael
05/19 4262 6
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43