로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4528 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60581
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60581 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90548
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90548 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204602
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204602 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252684
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252684 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243271
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243271 -14
야짤
REC) 알바 시스템 완성 후 드디어 관련 떡신 제작시작
kunarin
05/26
3413
11
REC) 알바 시스템 완성 후 드디어 관련 떡신 제작시작
야짤
kunarin
05/26 3413 11
야짤
AI (하드:능욕, 보태, 출산 주의!) 개인적으로 좋아하는 야겜 엔딩
진한농도
05/26
8197
25
AI (하드:능욕, 보태, 출산 주의!) 개인적으로 좋아하는 야겜 엔딩
야짤
진한농도
05/26 8197 25
일반
와 ㅈㄴ 당당하게 다른사람 리소스 쌀먹하네 ㅋㅋ
아이스뱅
05/26
3841
8
와 ㅈㄴ 당당하게 다른사람 리소스 쌀먹하네 ㅋㅋ
일반
아이스뱅
05/26 3841 8
질문
나츠노사가시모노 고지대가 어디임?
nnednenss
05/26
1689
0
나츠노사가시모노 고지대가 어디임?
질문
nnednenss
05/26 1689 0
일반
이 시간에 있는 바보
cyberzombie
05/26
2290
6
이 시간에 있는 바보
일반
cyberzombie
05/26 2290 6
일반
퇴근하고 유니슨 코드 해야지~
sinbiru
05/26
2424
6
퇴근하고 유니슨 코드 해야지~
일반
sinbiru
05/26 2424 6
일반
포레스티아 이거 뭐냐?
koewqert
05/26
2583
5
포레스티아 이거 뭐냐?
일반
koewqert
05/26 2583 5
일반
아 언홀리 하다 밤샜네 ㅈ됫네
wkdjs2345
05/26
1705
3
아 언홀리 하다 밤샜네 ㅈ됫네
일반
wkdjs2345
05/26 1705 3
일반
사신상관 DLC 막보 뒤지게 어렵네
메붕
05/26
1151
0
사신상관 DLC 막보 뒤지게 어렵네
일반
메붕
05/26 1151 0
질문
던전앤 브라이드 관련 질문
kmo018
05/26
2545
0
던전앤 브라이드 관련 질문
질문
kmo018
05/26 2545 0
질문
비월선행록 보물지도 위치 질문좀
o0o99
05/26
3057
0
비월선행록 보물지도 위치 질문좀
질문
o0o99
05/26 3057 0
일반
짤 번역하고 싶은데 꼴루는 작가가 없네..
주르르
05/26
1362
-8
짤 번역하고 싶은데 꼴루는 작가가 없네..
일반
주르르
05/26 1362 -8
질문
도나도나 실행안됨
poisonflower
05/26
2621
0
도나도나 실행안됨
질문
poisonflower
05/26 2621 0
질문
이거 왜 이러는지 아시는분
인생좆망함
05/26
1671
0
이거 왜 이러는지 아시는분
질문
인생좆망함
05/26 1671 0
일반
최근 ntr만 보고 듣고하다보니 좀 매너리즘오네
보이저
05/26
1692
0
최근 ntr만 보고 듣고하다보니 좀 매너리즘오네
일반
보이저
05/26 1692 0
동인
AI번역, Shift) 우리들! 성교육 위원회 만화판
sexe1
05/26
25133
98
AI번역, Shift) 우리들! 성교육 위원회 만화판
동인
sexe1
05/26 25133 98
세이브
Forestia save 포레스티아 세이브
blk82
05/26
1713
11
Forestia save 포레스티아 세이브
세이브
blk82
05/26 1713 11
질문
파폭으로 왜 히토미 안들어가짐?
courier6
05/26
1378
-6
파폭으로 왜 히토미 안들어가짐?
질문
courier6
05/26 1378 -6
세이브
FORTUNE BRIDE ~ 절정개안의 의식 치트 세이브
헐
05/26
2268
14
FORTUNE BRIDE ~ 절정개안의 의식 치트 세이브
세이브
헐
05/26 2268 14
질문
동인 작품 찾아요
ujakaya12
05/26
2027
0
동인 작품 찾아요
질문
ujakaya12
05/26 2027 0
요청
[복구요청] RJ138193 성검의 세실리아 ～The Soul of Knights～
fkillla
05/26
1748
1
[복구요청] RJ138193 성검의 세실리아 ～The Soul of Knights～
요청
fkillla
05/26 1748 1
일반
존재감 여동생 한동안 안하다가
ggplain
05/26
2631
0
존재감 여동생 한동안 안하다가
일반
ggplain
05/26 2631 0
복구
[요청복구] Cage of Tentacles v1.3.0
vhskorea
05/26
9322
30
[요청복구] Cage of Tentacles v1.3.0
복구
vhskorea
05/26 9322 30
요청
[복구요청]スマガ(스마가) + 팬디스크(스마가 스페셜)
burning12
05/26
2160
3
[복구요청]スマガ(스마가) + 팬디스크(스마가 스페셜)
요청
burning12
05/26 2160 3
질문
개인적으로 야애니 제작사중 적폐라 생각하는곳 어디라 생각함??
villan
05/26
2290
1
개인적으로 야애니 제작사중 적폐라 생각하는곳 어디라 생각함??
질문
villan
05/26 2290 1
질문
A Promise Best Left Unkept같은 게임 추천좀
mang99122
05/26
880
2
A Promise Best Left Unkept같은 게임 추천좀
질문
mang99122
05/26 880 2
복구
[요청복구] 퀸즈 - 대전형 카지노 솔리테어 RJ01248973
nue
05/26
9868
27
[요청복구] 퀸즈 - 대전형 카지노 솔리테어 RJ01248973
복구
nue
05/26 9868 27
요청
[복구요청] RJ01052977 변태여친 ~나와 그녀의 두근두근♡ 생방송. 복구 부탁드립니다 (꾸벅)
night5
05/26
1968
3
[복구요청] RJ01052977 변태여친 ~나와 그녀의 두근두근♡ 생방송. 복구 부탁드립니다 (꾸벅)
요청
night5
05/26 1968 3
질문
jam packed line tale 공략질문
koddd
05/26
1739
0
jam packed line tale 공략질문
질문
koddd
05/26 1739 0
일반
보추가 마이너한 장르라서 아쉽다
ㅇㅅㅇd
05/26
1324
0
보추가 마이너한 장르라서 아쉽다
일반
ㅇㅅㅇd
05/26 1324 0
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43