로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4628 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60603
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60603 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90641
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90641 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205035
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205035 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252838
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252838 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243461
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243461 -14
동인
[노모][Arai Kei] 반의 수수한 오타쿠에게 조건만남을 시켜보았다
김덕배
05/20
25633
125
[노모][Arai Kei] 반의 수수한 오타쿠에게 조건만남을 시켜보았다
동인
김덕배
05/20 25633 125
후기 및 공략
록시 번역기 후기
bruno00
05/20
3112
1
록시 번역기 후기
후기 및 공략
bruno00
05/20 3112 1
작업현황
소와 양의 잡화 상점 이미지 번역 기록 -1-
5dk2io1
05/20
5656
28
소와 양의 잡화 상점 이미지 번역 기록 -1-
작업현황
5dk2io1
05/20 5656 28
질문
의술사) 내가 길치인건지 겜 길찾기가 좆같은건지 모르겠는데
asdawer
05/20
1093
-1
의술사) 내가 길치인건지 겜 길찾기가 좆같은건지 모르겠는데
질문
asdawer
05/20 1093 -1
질문
동급생 소프 망가 제목 기억안나서 미치겠음
여우
05/20
2007
0
동급생 소프 망가 제목 기억안나서 미치겠음
질문
여우
05/20 2007 0
번역
비월선행록 1.289 개조버전 수정 알림
V
05/20
27632
184
비월선행록 1.289 개조버전 수정 알림
번역
V
05/20 27632 184
영상
헬스장에서 레바테인과 함께 (엔드필드)
브레머튼
05/20
15445
105
헬스장에서 레바테인과 함께 (엔드필드)
영상
브레머튼
05/20 15445 105
야짤
진짜 보자마자 벽 느껴지네
하이바라
05/20
7705
10
진짜 보자마자 벽 느껴지네
야짤
하이바라
05/20 7705 10
일반
의술사 이거 피 계속 걸을때마다 10퍼씩 까지는데 왜이러는지 모르겟노
nasang
05/20
3858
-1
의술사 이거 피 계속 걸을때마다 10퍼씩 까지는데 왜이러는지 모르겟노
일반
nasang
05/20 3858 -1
동인
[노모/오네쇼타] 누나 타임♥
질겨찾기
05/20
23633
62
[노모/오네쇼타] 누나 타임♥
동인
질겨찾기
05/20 23633 62
질문
안돼 동거라이프 엔드리스 어캐함?
공백
05/20
2020
0
안돼 동거라이프 엔드리스 어캐함?
질문
공백
05/20 2020 0
동인
[보추] 박아줘! 시스터♂ ~ 무자각 섹스 ~
질겨찾기
05/20
17884
54
[보추] 박아줘! 시스터♂ ~ 무자각 섹스 ~
동인
질겨찾기
05/20 17884 54
질문
의술사 의수 어디서 얻나요?
rummy
05/20
3656
0
의술사 의수 어디서 얻나요?
질문
rummy
05/20 3656 0
요청
[복구 요청] 딸한테 사정해서 가정붕괴
kadinalpinter1
05/20
4632
1
[복구 요청] 딸한테 사정해서 가정붕괴
요청
kadinalpinter1
05/20 4632 1
야짤
역방향 이라마치오
toscana
05/20
5842
21
역방향 이라마치오
야짤
toscana
05/20 5842 21
일반
던전레기온 이거 어렵네? 생각보다?
RED LOTUS
05/20
1771
0
던전레기온 이거 어렵네? 생각보다?
일반
RED LOTUS
05/20 1771 0
질문
언홀리메이든 같은 게임 있으면 추천 좀
satam1212
05/20
2012
2
언홀리메이든 같은 게임 있으면 추천 좀
질문
satam1212
05/20 2012 2
질문
ntrpg2 막힘..
january2000
05/20
2136
0
ntrpg2 막힘..
질문
january2000
05/20 2136 0
질문
스샷 속 게임 제목 아시는 분 계신가요?
belling
05/20
2763
0
스샷 속 게임 제목 아시는 분 계신가요?
질문
belling
05/20 2763 0
일반
의술사는 진짜 해보셈
arknight
05/20
4048
0
의술사는 진짜 해보셈
일반
arknight
05/20 4048 0
동인
(미번/번역요청/청아) wada wau - Todoke Mirai! Futari no Wish
118cbvg
05/20
6103
10
(미번/번역요청/청아) wada wau - Todoke Mirai! Futari no Wish
동인
118cbvg
05/20 6103 10
일반
렌파이 추천좀 해줘
skywing16
05/20
2847
0
렌파이 추천좀 해줘
일반
skywing16
05/20 2847 0
동인
직번, 청아, 후타, 후여) [momomo] 언니들이 리나쨩에게 볼일이 있어서 집까지 와줬으면 좋겠어~♥ + 두개 더
라비쉬
05/20
19480
66
직번, 청아, 후타, 후여) [momomo] 언니들이 리나쨩에게 볼일이 있어서 집까지 와줬으면 좋겠어~♥ + 두개 더
동인
라비쉬
05/20 19480 66
일반
스타메이커는 도대체 언제 뜨는거냐
김상덕
05/20
2082
0
스타메이커는 도대체 언제 뜨는거냐
일반
김상덕
05/20 2082 0
질문
torobakoya 이사람 작품 번역 있나요?
hihihoho
05/20
2993
0
torobakoya 이사람 작품 번역 있나요?
질문
hihihoho
05/20 2993 0
동인
(청아)[AI 번역][Nanao Yukiji] 조카의 여자친구를 훈육한 건 2~5화
초보역식자
05/20
29115
134
(청아)[AI 번역][Nanao Yukiji] 조카의 여자친구를 훈육한 건 2~5화
동인
초보역식자
05/20 29115 134
질문
언홀메 미모만 찍고있는데
rlawnsdudrod
05/20
3887
2
언홀메 미모만 찍고있는데
질문
rlawnsdudrod
05/20 3887 2
질문
모바일 미연시 추천 해주세요
jdbvw
05/20
5116
0
모바일 미연시 추천 해주세요
질문
jdbvw
05/20 5116 0
소리
[구매보급]쿨데레 만화 연구부 부장과 부실에서 몰래 오호 목소리 엄청 야한 교미부 활동
이름뭐하지
05/20
8228
61
[구매보급]쿨데레 만화 연구부 부장과 부실에서 몰래 오호 목소리 엄청 야한 교미부 활동
소리
이름뭐하지
05/20 8228 61
복구
복구 2종
햄댕이
05/20
31996
57
복구 2종
복구
햄댕이
05/20 31996 57
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43