로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4488 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60509
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60509 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90543
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90543 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204473
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204473 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252624
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252624 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243230
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243230 -14
일반
우효오오오옷!!!
tladidugod
04/22
2040
5
우효오오오옷!!!
일반
tladidugod
04/22 2040 5
일반
오 존재감 여동생 뭔가 업데이트 됐네
alphasquize
04/22
4533
0
오 존재감 여동생 뭔가 업데이트 됐네
일반
alphasquize
04/22 4533 0
일반
iwao 배가 불렀나봄
날굴
04/22
2883
0
iwao 배가 불렀나봄
일반
날굴
04/22 2883 0
일반
년에 작품 하나 내는 아재 러프떴네
Stella
04/22
4406
0
년에 작품 하나 내는 아재 러프떴네
일반
Stella
04/22 4406 0
일반
댓글 알람 온거 뒤적뒤적 하던중에
pst0025
04/22
4569
2
댓글 알람 온거 뒤적뒤적 하던중에
일반
pst0025
04/22 4569 2
일반
이로도리 중국어판만 냅두는게 진짜 괘씸함
agency123
04/22
1568
3
이로도리 중국어판만 냅두는게 진짜 괘씸함
일반
agency123
04/22 1568 3
일반
음해의 트랜스크랩 스포) 진엔딩 보기 전까지는 내상만 입는구나
nagisa8262
04/22
3916
1
음해의 트랜스크랩 스포) 진엔딩 보기 전까지는 내상만 입는구나
일반
nagisa8262
04/22 3916 1
일반
검수에 관한 잡담
루미네순애
04/22
4547
0
검수에 관한 잡담
일반
루미네순애
04/22 4547 0
일반
부서지는 여름색 애니화 볼수있으면 소원이 없을듯
추붕
04/22
6698
0
부서지는 여름색 애니화 볼수있으면 소원이 없을듯
일반
추붕
04/22 6698 0
일반
음해의 트랜스크랩 스포) 이게임 왜이렇게 가슴아픈 부분이 많냐
nagisa8262
04/22
2146
0
음해의 트랜스크랩 스포) 이게임 왜이렇게 가슴아픈 부분이 많냐
일반
nagisa8262
04/22 2146 0
일반
카린 신작 취소하고 DLC 추가한다 하지 않았나
qkffks1213
04/22
1359
-2
카린 신작 취소하고 DLC 추가한다 하지 않았나
일반
qkffks1213
04/22 1359 -2
일반
존재감 여동생 씨엔에 있던 진척 다 없어졌네
pajama
04/22
5670
0
존재감 여동생 씨엔에 있던 진척 다 없어졌네
일반
pajama
04/22 5670 0
일반
역시 레이시아보단 아리에스지
루파조아
04/22
3982
0
역시 레이시아보단 아리에스지
일반
루파조아
04/22 3982 0
일반
이 타츠마키짤 맘에드는
superkiller123
04/22
3619
1
이 타츠마키짤 맘에드는
일반
superkiller123
04/22 3619 1
일반
나보다 못생겼으면 소미금지임
아이기스맘
04/22
1729
-6
나보다 못생겼으면 소미금지임
일반
아이기스맘
04/22 1729 -6
일반
이제 우리나라가 1위 아님
rupanain
04/22
3032
0
이제 우리나라가 1위 아님
일반
rupanain
04/22 3032 0
일반
음해의 트랜스크랩 스포) 정공법보다 좋은 것은 딜찍누
nagisa8262
04/22
5075
2
음해의 트랜스크랩 스포) 정공법보다 좋은 것은 딜찍누
일반
nagisa8262
04/22 5075 2
일반
목금 연속 휴무일에 미친듯이 달리려고 했는데
띠띠용
04/22
3204
1
목금 연속 휴무일에 미친듯이 달리려고 했는데
일반
띠띠용
04/22 3204 1
일반
AI) 야겜 여주 캐릭터 시트를 16:9 비율로 다시 뽑음
날개 로봇
04/22
9011
8
AI) 야겜 여주 캐릭터 시트를 16:9 비율로 다시 뽑음
일반
날개 로봇
04/22 9011 8
일반
카린의 형무소 씹갓겜이네
ronaldo6974
04/22
4009
2
카린의 형무소 씹갓겜이네
일반
ronaldo6974
04/22 4009 2
일반
mu soft는 최신작 만든다고 시간 ㅈㄴ 끌려진 게 아깝네
cat009
04/22
7032
0
mu soft는 최신작 만든다고 시간 ㅈㄴ 끌려진 게 아깝네
일반
cat009
04/22 7032 0
일반
블랙소울2해라 두번해라
anjfqhk1212
04/22
4817
-2
블랙소울2해라 두번해라
일반
anjfqhk1212
04/22 4817 -2
일반
몬블마 간만에 하니까 맛있네
ㅇㅇ
04/21
4064
0
몬블마 간만에 하니까 맛있네
일반
ㅇㅇ
04/21 4064 0
일반
복구 기다리다가 번역 방법을 터득해버림
ekfkz
04/21
13123
0
복구 기다리다가 번역 방법을 터득해버림
일반
ekfkz
04/21 13123 0
일반
AI) GPT로 뽑은 야겜 주인공 캐릭터 시트 5종
날개 로봇
04/21
1722
4
AI) GPT로 뽑은 야겜 주인공 캐릭터 시트 5종
일반
날개 로봇
04/21 1722 4
일반
꼐임 쌓이니 정리가 쉽지 않음
finalle
04/21
1050
0
꼐임 쌓이니 정리가 쉽지 않음
일반
finalle
04/21 1050 0
일반
컴퓨터 재조립 한다고 시간 다 날렸네
Ghost
04/21
1241
0
컴퓨터 재조립 한다고 시간 다 날렸네
일반
Ghost
04/21 1241 0
일반
그러고보니 결국 못찾았네
noname1919
04/21
1375
-3
그러고보니 결국 못찾았네
일반
noname1919
04/21 1375 -3
일반
AI) GPT 신규 이미지 모델로 뽑은 야겜 주인공 캐릭터 시트
날개 로봇
04/21
5907
6
AI) GPT 신규 이미지 모델로 뽑은 야겜 주인공 캐릭터 시트
일반
날개 로봇
04/21 5907 6
일반
AI) GPT의 신규 이미지 모델이 구글 나노 바나나 보다 캐릭터 시트 잘 만드네
날개 로봇
04/21
4772
3
AI) GPT의 신규 이미지 모델이 구글 나노 바나나 보다 캐릭터 시트 잘 만드네
일반
날개 로봇
04/21 4772 3
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43