로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4551 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60594
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60594 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90582
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90582 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204768
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204768 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252727
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252727 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243323
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243323 -14
동인
(노모화) [Shiwasu no Okina] 에로♡삐삐 + 문원당 특별 소책자
macross7
04/25
18068
101
(노모화) [Shiwasu no Okina] 에로♡삐삐 + 문원당 특별 소책자
동인
macross7
04/25 18068 101
유틸
(코이카츠) 에러난 파일 복구 및 빠진거 보완
pst0025
04/25
10698
31
(코이카츠) 에러난 파일 복구 및 빠진거 보완
유틸
pst0025
04/25 10698 31
영상
린네의 헬스장 가는 날
Poznan
04/25
28232
133
린네의 헬스장 가는 날
영상
Poznan
04/25 28232 133
영상
명조 여캐 충간 Dynamic hip-swinging dance
롯데리아알바0831
04/25
34349
52
명조 여캐 충간 Dynamic hip-swinging dance
영상
롯데리아알바0831
04/25 34349 52
번역
[구매보급] [자체번역] [버전업] RJ01456652 외 1
gkqisq
04/25
57133
203
[구매보급] [자체번역] [버전업] RJ01456652 외 1
번역
gkqisq
04/25 57133 203
정보
🔞체험판을 공개했습니다, 26일 0시 개시 됩니다.
폭8맛
04/25
23803
61
🔞체험판을 공개했습니다, 26일 0시 개시 됩니다.
정보
폭8맛
04/25 23803 61
정보
손으로 접는 꽃의 트로이메라이 예고 공개
nyamberry
04/25
6155
19
손으로 접는 꽃의 트로이메라이 예고 공개
정보
nyamberry
04/25 6155 19
동인
직번) [Rokugo Sha] 그녀는 파파활을 그만둘 수 없다
yaaaoooo3
04/25
25950
151
직번) [Rokugo Sha] 그녀는 파파활을 그만둘 수 없다
동인
yaaaoooo3
04/25 25950 151
영상
(한글자막) 클x토리스 조교일지~ 반의 우등생은 왕클x 여고생
꽃사슴
04/25
30006
197
(한글자막) 클x토리스 조교일지~ 반의 우등생은 왕클x 여고생
영상
꽃사슴
04/25 30006 197
번역
[AI번역][VJ001533] AIL-SOFT 본디지 게임 (패치파일만)
호빵할배
04/25
37307
83
[AI번역][VJ001533] AIL-SOFT 본디지 게임 (패치파일만)
번역
호빵할배
04/25 37307 83
영상
mmd - 자작 댄스 영상 3종 ( 명조 에이메스, 소전 섹스턴스, 코미양)
madrush
04/25
15914
121
mmd - 자작 댄스 영상 3종 ( 명조 에이메스, 소전 섹스턴스, 코미양)
영상
madrush
04/25 15914 121
영상
Gigi의 에치 라이브 방송
o_o
04/25
30510
118
Gigi의 에치 라이브 방송
영상
o_o
04/25 30510 118
야짤
[청아 포함] TWFydWdhb2dhc2tp 2019~2021 [Unsensored] 모음집 - [5.77GB]
HNO₃
04/25
23813
38
[청아 포함] TWFydWdhb2dhc2tp 2019~2021 [Unsensored] 모음집 - [5.77GB]
야짤
HNO₃
04/25 23813 38
미번
구매보급 / 번역요청 ] RJ259947 폭유 여자들과 〇하거나 〇되는 RPG ver1.32
초밥먹고싶다
04/25
17191
27
구매보급 / 번역요청 ] RJ259947 폭유 여자들과 〇하거나 〇되는 RPG ver1.32
미번
초밥먹고싶다
04/25 17191 27
동인
[Uno Ryoku] TS고양이 서큐버스 씨는 착정따위 하고 싶지 않아! 1~2편
능이백숙
04/25
20966
72
[Uno Ryoku] TS고양이 서큐버스 씨는 착정따위 하고 싶지 않아! 1~2편
동인
능이백숙
04/25 20966 72
영상
44Ki44Kq44Oi44Oq44Gu5oCq5Lq6 모음집 - [32.56GB]
HNO₃
04/25
36090
65
44Ki44Kq44Oi44Oq44Gu5oCq5Lq6 모음집 - [32.56GB]
영상
HNO₃
04/25 36090 65
소리
【한국어 자막판][구매보급]오호고에를 내는 거유아내와 신혼생활을 보내는 이야기
이름뭐하지
04/25
14781
100
【한국어 자막판][구매보급]오호고에를 내는 거유아내와 신혼생활을 보내는 이야기
소리
이름뭐하지
04/25 14781 100
복구
[요청복구] RJ126642 성기사 루비리아스
hanajoo
04/25
17474
73
[요청복구] RJ126642 성기사 루비리아스
복구
hanajoo
04/25 17474 73
복구
카린의 형무소 각종 모드 통팩 + cc모드 손번 포함 Karryn's Prison all DLC
송편
04/25
44346
297
카린의 형무소 각종 모드 통팩 + cc모드 손번 포함 Karryn's Prison all DLC
복구
송편
04/25 44346 297
동인
[enrike] 모성 클라이맥스 ~유부녀와 엄마의 궁극적 모성~
agnet666
04/25
20522
33
[enrike] 모성 클라이맥스 ~유부녀와 엄마의 궁극적 모성~
동인
agnet666
04/25 20522 33
영상
시시아 : 뱀의 욕망 (ZZZ)
브레머튼
04/25
24341
95
시시아 : 뱀의 욕망 (ZZZ)
영상
브레머튼
04/25 24341 95
번역
Daily Lives My Countryside_ 손번역 (Ver. 0.06)
감자떡사요
04/25
56644
277
Daily Lives My Countryside_ 손번역 (Ver. 0.06)
번역
감자떡사요
04/25 56644 277
유틸
RPG MV/MZ 치트 플러그인 웹 딸깍 설치 오픈
mrpls
04/25
11292
28
RPG MV/MZ 치트 플러그인 웹 딸깍 설치 오픈
유틸
mrpls
04/25 11292 28
영상
[NTR] NtOO - [21.83GB] [업데이트 완료!]
HNO₃
04/25
52079
238
[NTR] NtOO - [21.83GB] [업데이트 완료!]
영상
HNO₃
04/25 52079 238
영상
[후타] 라미엘 & 벨 (ZZZ)
브레머튼
04/25
17819
85
[후타] 라미엘 & 벨 (ZZZ)
영상
브레머튼
04/25 17819 85
작업현황
이식) IT [sirensdomain] Zombie's Retreat v2.1.1 [AI번역] + IT [sirensdomain] Zombie's Retreat [PC] v1.0.2 손번역(1차 수정 완료)
ㅇㅇ
04/25
15559
31
이식) IT [sirensdomain] Zombie's Retreat v2.1.1 [AI번역] + IT [sirensdomain] Zombie's Retreat [PC] v1.0.2 손번역(1차 수정 완료)
작업현황
ㅇㅇ
04/25 15559 31
야짤
AI) 셀레스포니아 전철 치한
miso5
04/25
19863
100
AI) 셀레스포니아 전철 치한
야짤
miso5
04/25 19863 100
미번
[미번/구매보급] RJ01577093 ふたなって鬼ヶ島！
Qdaq1213
04/25
15405
54
[미번/구매보급] RJ01577093 ふたなって鬼ヶ島！
미번
Qdaq1213
04/25 15405 54
미번
구매보급) RJ01053661 호신술 도장 비밀 NTR 수업 Ver1.98 + RJ01083821 아오이편 Ver1.00 (DL판) (26.04.26 11:40 수정)
딸ㄱ기맛
04/25
18949
72
구매보급) RJ01053661 호신술 도장 비밀 NTR 수업 Ver1.98 + RJ01083821 아오이편 Ver1.00 (DL판) (26.04.26 11:40 수정)
미번
딸ㄱ기맛
04/25 18949 72
동인
[Togami] 목장의 성처리 담당 고양이 메이드씨
ashgray
04/25
33300
118
[Togami] 목장의 성처리 담당 고양이 메이드씨
동인
ashgray
04/25 33300 118
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43