로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4650 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60604
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60604 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90649
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90649 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205047
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205047 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252853
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252853 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243483
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243483 -14
번역
[AI번역]예전에 번역했던거 몇개
솔라셀
05/21
32294
169
[AI번역]예전에 번역했던거 몇개
번역
솔라셀
05/21 32294 169
동인
Zurikishi-동급생 메이드 시리즈 모음
k8625
05/21
26021
139
Zurikishi-동급생 메이드 시리즈 모음
동인
k8625
05/21 26021 139
동인
Zurikishi-멘헤라 여자애 모음
k8625
05/21
36118
212
Zurikishi-멘헤라 여자애 모음
동인
k8625
05/21 36118 212
질문
동인지 이름 찾습니다...
gomdong2021
05/21
1283
1
동인지 이름 찾습니다...
질문
gomdong2021
05/21 1283 1
일반
그러고보니 관문지기 요즘 어떻게 됐지
ㅇㅇ
05/21
2527
-1
그러고보니 관문지기 요즘 어떻게 됐지
일반
ㅇㅇ
05/21 2527 -1
번역
버전업, 자체한글) RJ01604009 너스콜 경비원: Append.1 간호사 증원 패치
딸ㄱ기맛
05/21
29480
154
버전업, 자체한글) RJ01604009 너스콜 경비원: Append.1 간호사 증원 패치
번역
딸ㄱ기맛
05/21 29480 154
미번
[복구]penetrating a petite sleeping elf
kimkaral
05/21
5604
11
[복구]penetrating a petite sleeping elf
미번
kimkaral
05/21 5604 11
일반
나도 의술사 불만인 점
lightmax
05/21
3452
0
나도 의술사 불만인 점
일반
lightmax
05/21 3452 0
일반
ai 동인지는 말그대로 찍어내듯이 만들 수 있을텐데
ec2100
05/21
2932
0
ai 동인지는 말그대로 찍어내듯이 만들 수 있을텐데
일반
ec2100
05/21 2932 0
일반
순애야겜<<<이게 잘만들면 갓겜인 이유가 있더라
pinanmin
05/21
2334
3
순애야겜<<<이게 잘만들면 갓겜인 이유가 있더라
일반
pinanmin
05/21 2334 3
요청
[복구요청] [RJ01167948][보이스코믹/음성][한글화] 반찬당번 마치다짱
삐삐삣
05/21
2577
2
[복구요청] [RJ01167948][보이스코믹/음성][한글화] 반찬당번 마치다짱
요청
삐삐삣
05/21 2577 2
질문
얼터에고이즘 DLC는 무슨 내용임?
paddackmon
05/21
2094
0
얼터에고이즘 DLC는 무슨 내용임?
질문
paddackmon
05/21 2094 0
동인
[기번/검수][A-10]-백주 백탁 클리 노출 절정(유루캠△)
serdic
05/21
14443
75
[기번/검수][A-10]-백주 백탁 클리 노출 절정(유루캠△)
동인
serdic
05/21 14443 75
일반
kiss사는 보법이 남다르네...
흐긴배긴
05/21
3213
0
kiss사는 보법이 남다르네...
일반
흐긴배긴
05/21 3213 0
동인
(청아, 노모, 컬러)봐줘 봐줘 좀 더
에우리알레
05/21
22851
56
(청아, 노모, 컬러)봐줘 봐줘 좀 더
동인
에우리알레
05/21 22851 56
질문
왜 자꾸 eperm이 뜸?
zszsz
05/21
4655
-2
왜 자꾸 eperm이 뜸?
질문
zszsz
05/21 4655 -2
질문
이거ai인가
pudiwey
05/21
2048
-1
이거ai인가
질문
pudiwey
05/21 2048 -1
일반
의술사 다 좋은데 좀 아쉬운거
bbtt1234
05/21
1753
0
의술사 다 좋은데 좀 아쉬운거
일반
bbtt1234
05/21 1753 0
요청
[복구요청] RJ328615 새겨진 쾌감 복구 요청드립니다.
사탕20
05/21
4194
2
[복구요청] RJ328615 새겨진 쾌감 복구 요청드립니다.
요청
사탕20
05/21 4194 2
일반
풍기위원이란 소재 자체가 치트기인 것 같음
didhd87
05/21
3435
3
풍기위원이란 소재 자체가 치트기인 것 같음
일반
didhd87
05/21 3435 3
요청
[복구요청]소장의 욕망증 시리즈
dfgtewkwg
05/21
1592
5
[복구요청]소장의 욕망증 시리즈
요청
dfgtewkwg
05/21 1592 5
후기 및 공략
학원생활노출 이모저모
ENE
05/21
4868
4
학원생활노출 이모저모
후기 및 공략
ENE
05/21 4868 4
작업현황
Church of Desires 손번역판 1.3 버전 업 완료
sesv3030
05/21
4350
7
Church of Desires 손번역판 1.3 버전 업 완료
작업현황
sesv3030
05/21 4350 7
영상
[한글자막] 버큠 프리큐어 SPECIAL MOVIE Vol.003 ~큐어 비트와의 만남~
실루엣21
05/21
27743
177
[한글자막] 버큠 프리큐어 SPECIAL MOVIE Vol.003 ~큐어 비트와의 만남~
영상
실루엣21
05/21 27743 177
정보
28일 출시 예정 "레벨 99 치트 용사인 내가 서큐버스 따위에게 질 리가 없어"
lovesccubus
05/21
4304
3
28일 출시 예정 "레벨 99 치트 용사인 내가 서큐버스 따위에게 질 리가 없어"
정보
lovesccubus
05/21 4304 3
질문
언홀메 seed of profanity 적용 시킬 때, 한패 적용도 안 된 순정파일에 해야 하는 거임?
buysomething
05/21
2732
0
언홀메 seed of profanity 적용 시킬 때, 한패 적용도 안 된 순정파일에 해야 하는 거임?
질문
buysomething
05/21 2732 0
일반
fantia는 좆같은 결제를 속박으로 규제가 덜한게 아니었나
nokchabap
05/21
2201
0
fantia는 좆같은 결제를 속박으로 규제가 덜한게 아니었나
일반
nokchabap
05/21 2201 0
일반
이젠 안하겠지 지우지 말기
gaemi01ba
05/21
2249
1
이젠 안하겠지 지우지 말기
일반
gaemi01ba
05/21 2249 1
질문
시간순삭게임 업나용?
p2ppl
05/21
2011
1
시간순삭게임 업나용?
질문
p2ppl
05/21 2011 1
일반
벌써 5월말이네...
Salmon103918
05/21
4104
1
벌써 5월말이네...
일반
Salmon103918
05/21 4104 1
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43