로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4474 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60474
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60474 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90541
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90541 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204433
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204433 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252597
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252597 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243198
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243198 -14
일반
케모노 갑자기 잘됨
taxfree
04/15
8379
0
케모노 갑자기 잘됨
일반
taxfree
04/15 8379 0
일반
연인사이 ntr남 난입이 있으면
페로로질라
04/14
4717
0
연인사이 ntr남 난입이 있으면
일반
페로로질라
04/14 4717 0
일반
팅커벨 얘네 게임 쪼개서 내놓는거 재미들렸나
마카로프
04/14
3948
1
팅커벨 얘네 게임 쪼개서 내놓는거 재미들렸나
일반
마카로프
04/14 3948 1
일반
갈수록 늙어서 그런가 순애물이 좋아지네
Nate Higgerson
04/14
5738
0
갈수록 늙어서 그런가 순애물이 좋아지네
일반
Nate Higgerson
04/14 5738 0
일반
아 야리나리 그냥 하려 했는데
yobikata12
04/14
2647
1
아 야리나리 그냥 하려 했는데
일반
yobikata12
04/14 2647 1
일반
시안브레인 서클 신작나왔네
dasanghuk
04/14
6400
0
시안브레인 서클 신작나왔네
일반
dasanghuk
04/14 6400 0
일반
힘들게 구한 작가껄로 한번 치고나니까 감흥이 사라짐
슬픈두루미
04/14
2963
0
힘들게 구한 작가껄로 한번 치고나니까 감흥이 사라짐
일반
슬픈두루미
04/14 2963 0
일반
도파민이 필요해
임신다이스키
04/14
5038
0
도파민이 필요해
일반
임신다이스키
04/14 5038 0
일반
케모노 죽었네
굿라이젠
04/14
10516
0
케모노 죽었네
일반
굿라이젠
04/14 10516 0
일반
존재감 여동생 업데이트 있네
alphasquize
04/14
5099
0
존재감 여동생 업데이트 있네
일반
alphasquize
04/14 5099 0
일반
슬슬 하드 사야겠다
Ghost
04/14
2658
0
슬슬 하드 사야겠다
일반
Ghost
04/14 2658 0
일반
존재감 여동생 버섯집
teron
04/14
9674
0
존재감 여동생 버섯집
일반
teron
04/14 9674 0
일반
착정의 미궁 다 좋은데 게임성 개노가다라
daldalu
04/14
3929
0
착정의 미궁 다 좋은데 게임성 개노가다라
일반
daldalu
04/14 3929 0
일반
이번분기 여야 애니메이션
쩝냡
04/14
2234
1
이번분기 여야 애니메이션
일반
쩝냡
04/14 2234 1
일반
요새는 왜 침략해서 따먹는 원초적인 게임이 없냐
warofhexa
04/14
2316
0
요새는 왜 침략해서 따먹는 원초적인 게임이 없냐
일반
warofhexa
04/14 2316 0
일반
란스03 노모패치 그냥 쉽구나..
몬스터가아니다신이다
04/14
1570
0
란스03 노모패치 그냥 쉽구나..
일반
몬스터가아니다신이다
04/14 1570 0
일반
자고 싶은데
동물애호
04/14
1467
0
자고 싶은데
일반
동물애호
04/14 1467 0
일반
요즘들어서 로컬 리뮬레이터를 굳이 쓸 일이 있을까 싶은게
kunarin
04/14
7024
0
요즘들어서 로컬 리뮬레이터를 굳이 쓸 일이 있을까 싶은게
일반
kunarin
04/14 7024 0
일반
사실 내취향 별거없음
a-miharu
04/14
1571
0
사실 내취향 별거없음
일반
a-miharu
04/14 1571 0
일반
야먀다씨 예상대로여서 조금 아쉽네
페로로질라
04/14
2171
0
야먀다씨 예상대로여서 조금 아쉽네
일반
페로로질라
04/14 2171 0
일반
요즘 대작 소식이 좀 뜸한듯?
paragino
04/14
2399
0
요즘 대작 소식이 좀 뜸한듯?
일반
paragino
04/14 2399 0
일반
여주 비주얼이 아주 마음에 드는구만
ㅇㅇ
04/14
4747
3
여주 비주얼이 아주 마음에 드는구만
일반
ㅇㅇ
04/14 4747 3
일반
비리비리가서 모델 파밍하는데 맛있음
a-miharu
04/14
1690
0
비리비리가서 모델 파밍하는데 맛있음
일반
a-miharu
04/14 1690 0
일반
딸치려고 동인지 봤는데 개명작이네
ㅇㅇ
04/14
2575
1
딸치려고 동인지 봤는데 개명작이네
일반
ㅇㅇ
04/14 2575 1
일반
메이든스노우이브 같은 겜들이 진짜 개취 갓겜이라 생각하는데
ryororon
04/14
2878
0
메이든스노우이브 같은 겜들이 진짜 개취 갓겜이라 생각하는데
일반
ryororon
04/14 2878 0
일반
리나 테스트 이거 미쳤넹..
ddat123
04/14
4200
0
리나 테스트 이거 미쳤넹..
일반
ddat123
04/14 4200 0
일반
개인적으로 아케비 너무 꼴렸음
나나세마루
04/14
7358
0
개인적으로 아케비 너무 꼴렸음
일반
나나세마루
04/14 7358 0
일반
썅년들이 쌍으로 옆에서 귀찮게 존나 울어댐
아이기스맘
04/14
2965
1
썅년들이 쌍으로 옆에서 귀찮게 존나 울어댐
일반
아이기스맘
04/14 2965 1
일반
이야 풍기위원 여음마 이거 최면파트가니까
rururu
04/14
7822
1
이야 풍기위원 여음마 이거 최면파트가니까
일반
rururu
04/14 7822 1
일반
어느덧 다가오는 200개
balpa
04/14
2956
1
어느덧 다가오는 200개
일반
balpa
04/14 2956 1
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43