로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4571 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60597
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60597 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
90594
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 90594 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
204955
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 204955 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
252761
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 252761 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243362
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243362 -14
일반
미친 F95 막혔네 시바;
amuqo21
04/30
3868
-2
미친 F95 막혔네 시바;
일반
amuqo21
04/30 3868 -2
일반
양키햄이 우리보고 중국보다 더하다는데
pst0025
04/30
4144
9
양키햄이 우리보고 중국보다 더하다는데
일반
pst0025
04/30 4144 9
일반
vpn빠른거 하나 긁으면 아무지장없삼
demonstrate
04/30
4202
-4
vpn빠른거 하나 긁으면 아무지장없삼
일반
demonstrate
04/30 4202 -4
일반
막힌 사이트 추측
demonstrate
04/30
5665
-1
막힌 사이트 추측
일반
demonstrate
04/30 5665 -1
일반
아니 실물 동영상아니고 야겜 사이트를 처막는 건 뭔 지랄이지?
알탕
04/30
4710
9
아니 실물 동영상아니고 야겜 사이트를 처막는 건 뭔 지랄이지?
일반
알탕
04/30 4710 9
일반
와 f95도 사망했구나
asr222
04/30
6145
-5
와 f95도 사망했구나
일반
asr222
04/30 6145 -5
일반
계정 왜 사라졌지
yipeee
04/30
6038
0
계정 왜 사라졌지
일반
yipeee
04/30 6038 0
일반
막히고 뜨는 링크가서 대충 읽어보니
미스터장
04/30
7337
5
막히고 뜨는 링크가서 대충 읽어보니
일반
미스터장
04/30 7337 5
일반
vpn하나정돈 필수품이죠뭐
demonstrate
04/30
4972
-6
vpn하나정돈 필수품이죠뭐
일반
demonstrate
04/30 4972 -6
일반
뭐야 코네 글중에 일부도 안들어가지는데?
flamelion
04/30
4415
1
뭐야 코네 글중에 일부도 안들어가지는데?
일반
flamelion
04/30 4415 1
일반
우린 답을 찾을 것이다.
immuune
04/30
4595
1
우린 답을 찾을 것이다.
일반
immuune
04/30 4595 1
일반
무료 vpn 추천함
deadcat1125
04/30
5857
0
무료 vpn 추천함
일반
deadcat1125
04/30 5857 0
일반
현재 정부 요청으로 클플 막힌데는 정확히 2곳
잉여잉
04/30
5835
9
현재 정부 요청으로 클플 막힌데는 정확히 2곳
일반
잉여잉
04/30 5835 9
일반
그냥 유료 vpn 쓰기 싫다 하면
banchantong6974
04/30
4989
0
그냥 유료 vpn 쓰기 싫다 하면
일반
banchantong6974
04/30 4989 0
일반
토르 써봤는데 괜찮네
하이바라
04/30
6636
0
토르 써봤는데 괜찮네
일반
하이바라
04/30 6636 0
일반
이제 중국애들처럼 상시 VPN 써야겠네
deadcat1125
04/30
4419
-1
이제 중국애들처럼 상시 VPN 써야겠네
일반
deadcat1125
04/30 4419 -1
일반
한국법상 우회 접속은 불법이 아니니 참고하셈
잉여잉
04/30
6826
0
한국법상 우회 접속은 불법이 아니니 참고하셈
일반
잉여잉
04/30 6826 0
일반
웃긴게 2D 관련만 막고 폰헙 같은데는 그대로임 ㅋㅋ
deadcat1125
04/30
5195
2
웃긴게 2D 관련만 막고 폰헙 같은데는 그대로임 ㅋㅋ
일반
deadcat1125
04/30 5195 2
일반
이제 많이 불편해지겠네
Lilac
04/30
6308
0
이제 많이 불편해지겠네
일반
Lilac
04/30 6308 0
일반
이와라 막혀서 와봤는데
gro-tesque
04/30
2762
-1
이와라 막혀서 와봤는데
일반
gro-tesque
04/30 2762 -1
일반
이와라도 갑자기 막혔네
deadcat1125
04/30
2662
-1
이와라도 갑자기 막혔네
일반
deadcat1125
04/30 2662 -1
일반
사이트 막혔네..
unlocked
04/30
8647
-2
사이트 막혔네..
일반
unlocked
04/30 8647 -2
일반
그나마 브픈은 통하는게 다행인건가
amumu000
04/30
4972
0
그나마 브픈은 통하는게 다행인건가
일반
amumu000
04/30 4972 0
일반
정떡 ㄴㄴ
Shinjiro
04/30
6121
-8
정떡 ㄴㄴ
일반
Shinjiro
04/30 6121 -8
일반
아무리 ㅈ같아도
비내리는구름
04/30
3729
-2
아무리 ㅈ같아도
일반
비내리는구름
04/30 3729 -2
일반
진짜씨발개좆같아서잠이안오네
gogildong
04/30
3766
-2
진짜씨발개좆같아서잠이안오네
일반
gogildong
04/30 3766 -2
일반
코네도 조만간갈듯?
내가그린기린그림
04/30
6876
-2
코네도 조만간갈듯?
일반
내가그린기린그림
04/30 6876 -2
일반
개같네 vpn결제함
skcodnjs
04/30
6198
0
개같네 vpn결제함
일반
skcodnjs
04/30 6198 0
일반
근데 코네도 막힐 확률 꽤 되는거아님?
gogildong
04/30
4400
2
근데 코네도 막힐 확률 꽤 되는거아님?
일반
gogildong
04/30 4400 2
일반
prison 이 쉐끼 지뢰작이네
sinbalnom
04/30
2869
1
prison 이 쉐끼 지뢰작이네
일반
sinbalnom
04/30 2869 1
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43