로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4746 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60620
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60620 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90753
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90753 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205241
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205241 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
253313
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 253313 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243632
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243632 -14
동인
[직번][sanatuki]개변태아이돌♥ 에로에로세뇌라이브시작이야♥
돋돋돋돋돋
05/10
24011
90
[직번][sanatuki]개변태아이돌♥ 에로에로세뇌라이브시작이야♥
동인
돋돋돋돋돋
05/10 24011 90
번역
[업로드 갱신안내] [PC-모바일-Linux-macOS] [공식한글]-존재감 없는 여동생과의 소박한 일상 1.02
Ghost
05/10
35175
82
[업로드 갱신안내] [PC-모바일-Linux-macOS] [공식한글]-존재감 없는 여동생과의 소박한 일상 1.02
번역
Ghost
05/10 35175 82
복구
[복구] 복구된지 오래된 용량 적은 게임 5개
몬스터가아니다신이다
05/10
34574
81
[복구] 복구된지 오래된 용량 적은 게임 5개
복구
몬스터가아니다신이다
05/10 34574 81
동인
[AI번역+검수] 후타) [Fence 14]자지가 생겨버린 우등생짱
vereeeev
05/10
31564
183
[AI번역+검수] 후타) [Fence 14]자지가 생겨버린 우등생짱
동인
vereeeev
05/10 31564 183
영상
버) RVNWaWRlb01ha2Vy 2026.02~04
xjabdks
05/10
31477
139
버) RVNWaWRlb01ha2Vy 2026.02~04
영상
xjabdks
05/10 31477 139
동인
[Minamihama Yoriko] 교배 라이선스 ~인기 없는 내가 최강 유전자?!~
1uF
05/10
30148
185
[Minamihama Yoriko] 교배 라이선스 ~인기 없는 내가 최강 유전자?!~
동인
1uF
05/10 30148 185
동인
[Itohana] 건방진 소꿉친구가 나를 빼앗으러 오는 승리 √
1uF
05/10
32983
136
[Itohana] 건방진 소꿉친구가 나를 빼앗으러 오는 승리 √
동인
1uF
05/10 32983 136
복구
26.05.12, 90일) 1-2. RJ310786 ReBF v2.0. 개선 26.05.12.7z
ㅇㅇ
05/10
18157
60
26.05.12, 90일) 1-2. RJ310786 ReBF v2.0. 개선 26.05.12.7z
복구
ㅇㅇ
05/10 18157 60
동인
[Takeda Aranobu] 치처녀 풍기위원의 모두에게 말할수없는 음미한 부탁 9
1uF
05/10
16670
55
[Takeda Aranobu] 치처녀 풍기위원의 모두에게 말할수없는 음미한 부탁 9
동인
1uF
05/10 16670 55
동인
[mahouya] 패배 엔드에서 레오나 공주가 범해지는 이야기
고전발굴
05/10
20177
24
[mahouya] 패배 엔드에서 레오나 공주가 범해지는 이야기
동인
고전발굴
05/10 20177 24
영상
[후타주의] 후원보급,Br@n) 네로짱 + 통합편집
비밀봉투
05/10
19025
77
[후타주의] 후원보급,Br@n) 네로짱 + 통합편집
영상
비밀봉투
05/10 19025 77
동인
[さるら] 축제에서 의상이 풀려버리는 만화
bender
05/10
16494
42
[さるら] 축제에서 의상이 풀려버리는 만화
동인
bender
05/10 16494 42
동인
[직번] [armadillo daiji] 갸루 모녀의 돈버는 방법2
maha1004
05/10
35645
165
[직번] [armadillo daiji] 갸루 모녀의 돈버는 방법2
동인
maha1004
05/10 35645 165
영상
Nⓐjⓐr 41개 모음
darkunicorn
05/10
22074
96
Nⓐjⓐr 41개 모음
영상
darkunicorn
05/10 22074 96
소리
[구매보급][한국어자막판] 거유 메스○키 마왕님과 마족 메이드장이 더러운 자○에 아양 떨며 봉사하게 되는 이야기♪
이름뭐하지
05/10
19656
68
[구매보급][한국어자막판] 거유 메스○키 마왕님과 마족 메이드장이 더러운 자○에 아양 떨며 봉사하게 되는 이야기♪
소리
이름뭐하지
05/10 19656 68
번역
[버전업알림] 교칙은 절대적이다
rack11
05/10
40581
73
[버전업알림] 교칙은 절대적이다
번역
rack11
05/10 40581 73
영상
Br@n)벽람항로 임플래커블 + 통합편집
비밀봉투
05/10
15602
80
Br@n)벽람항로 임플래커블 + 통합편집
영상
비밀봉투
05/10 15602 80
미번
[구매보급/미번/이종간/촉수] 서큐버스 헤븐
루파조아
05/10
21279
32
[구매보급/미번/이종간/촉수] 서큐버스 헤븐
미번
루파조아
05/10 21279 32
야짤
AI, 셀레스포니아) 마카이 지구의 주민
miso5
05/10
11181
101
AI, 셀레스포니아) 마카이 지구의 주민
야짤
miso5
05/10 11181 101
영상
에바네시아 (스타레일)
브레머튼
05/10
21851
101
에바네시아 (스타레일)
영상
브레머튼
05/10 21851 101
미번
[번역요청] Abyss Of Pleasure 0.2.6
0000p
05/10
15605
48
[번역요청] Abyss Of Pleasure 0.2.6
미번
0000p
05/10 15605 48
야짤
AI) 무인도 사원 여행기 시즈하 첫H장면
zerocoke
05/10
8191
33
AI) 무인도 사원 여행기 시즈하 첫H장면
야짤
zerocoke
05/10 8191 33
번역
[구매보급/공식번역] RJ01567096 교칙은 절대적이다
rack11
05/10
52507
183
[구매보급/공식번역] RJ01567096 교칙은 절대적이다
번역
rack11
05/10 52507 183
미번
[구매보급] RJ01605925 고대의 기사와 제물의 무녀 26.05.10
gkqisq
05/10
15475
74
[구매보급] RJ01605925 고대의 기사와 제물의 무녀 26.05.10
미번
gkqisq
05/10 15475 74
영상
후원보급,Br@n)버튜버 시온,보탄 + 통합편집
비밀봉투
05/10
21902
86
후원보급,Br@n)버튜버 시온,보탄 + 통합편집
영상
비밀봉투
05/10 21902 86
야짤
도트/움짤 교배 프레스
angkimozzi
05/10
19035
45
도트/움짤 교배 프레스
야짤
angkimozzi
05/10 19035 45
미번
[구매보급] [버전업] RJ01582213 라스티 던전 2 ver1.0?? 26.05.10
gkqisq
05/10
9277
51
[구매보급] [버전업] RJ01582213 라스티 던전 2 ver1.0?? 26.05.10
미번
gkqisq
05/10 9277 51
동인
[aI번역-노모] 거유 여성이 둘 없으면 발기하지 못하는 남편을 위해 친구를 데려온 아내 -총집편
mybest
05/10
30650
125
[aI번역-노모] 거유 여성이 둘 없으면 발기하지 못하는 남편을 위해 친구를 데려온 아내 -총집편
동인
mybest
05/10 30650 125
미번
미번) 할 수 있는 후배 아오이 짱! ～2인 동거 시작해버렸습니다～ (できる後輩アオイちゃん！ ～二人ぐらし始まっちゃいました～)
darkunicorn
05/10
12071
33
미번) 할 수 있는 후배 아오이 짱! ～2인 동거 시작해버렸습니다～ (できる後輩アオイちゃん！ ～二人ぐらし始まっちゃいました～)
미번
darkunicorn
05/10 12071 33
미번
미번) 나츠이로 레슨 v1.1.0b (なついろレッスン～the last summer time)
darkunicorn
05/10
15281
25
미번) 나츠이로 레슨 v1.1.0b (なついろレッスン～the last summer time)
미번
darkunicorn
05/10 15281 25
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43