로컬 LLM 처음 써보는데 복잡하네
04/19/2026, 05:04:32
일반
4771 views · 0 likes
Ollama , LM Studio 2가지 다 해봤는데 둘 다 좀 문제가 있는듯
일단 사용하는 글카는 5090
모델은 gemma-4-31b-it-mystery-fine-tune-heretic-uncensored-thinking-i1
mradermacher라는 사람이 개조(?)한 gemma 4 uncensored 버전이랬음
근데 고작 300kb txt 파일 번역 시키는데, Ollama나 LM Studio 자체적으로는 제대로 번역을 못하고 자꾸 내용 요약만 해댐
그래서 api server 기능으로 외부 프로그램 이용해서 했더니 일본어 원문 그대로 뱉어내고 ㅋㅋ
게다가 엄청나게 느려....뭔가 세팅을 잘못해준건가
0
9 comments
argoklarke
04/19 시스템 프롬프트로 너는 번역가다 번역문만 출력해라 이정도는 잡아줘야 헛지랄 안함. 그리고 장문을 커버하려면 컨텍스트 메모리를 가능한한 많이 확보해야함
argoklarke
04/19 5090으로도 31B는 메모리가 간당간당이라 생각보다 컨텍스트를 확보하기가 쉽지 않아...속도에서도 손해가 크고 양자화 레벨을 Q4정도까지 낮추고 컨텍스트를 더 확보하는게 유리할 수도 있음
asdfg43210
04/19 크아악 어렵습니다! 일단 Q4 버전 다운로드 하러 갑니다
mrpls
04/19 Edited 04/19혹시 GPU offload 전부다 못한거 아님? 31B는 MoE도 아니라 개느릴것임
asdfg43210
04/19 GPU offload는 작업관리자 사용량 보면 GPU 100% 뜨던데 된거 같음...윗 댓 참고해서 Q4로 다운중
argoklarke
04/19 Edited 04/19그리고 Ollama는 ggml 도입하고 나서 퇴보하고 있으니까 50 시리즈 쓰는 사람들은 손절하는게 낫다고 보는 입장임
https://sleepingrobots.com/dreams/stop-using-ollama/
공지
AI 이미지 관련 공지 및 관련 규정 수정 공지
1uF
05/02
60831
22
AI 이미지 관련 공지 및 관련 규정 수정 공지
공지
1uF
05/02 60831 22
공지
‼️뉴비 필독 가이드‼️
1uF
05/02
91626
134
‼️뉴비 필독 가이드‼️
공지
1uF
05/02 91626 134
공지
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
SK
04/05
205672
-25
🔔[필독] 채널 규정 & 신문고 (2026 04 05~)
공지
SK
04/05 205672 -25
공지
🔔[필독] 탭 별 이용 가이드 (20260206~)
Etrick
02/05
253901
-41
🔔[필독] 탭 별 이용 가이드 (20260206~)
공지
Etrick
02/05 253901 -41
공지
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
SK
05/17/25
1243863
-14
[필독] 서브에 자주 올라오는 여러 가지 질문 모음 (20251026~)
공지
SK
05/17/25 1243863 -14
일반
자신을 버린 주인을 저주 하는 인형
AND
06/01/25
3400
28
자신을 버린 주인을 저주 하는 인형
일반
AND
06/01/25 3400 28
일반
가지고 있던 영상 모음집 다 올려따
nxsolo
05/28/25
1662
17
가지고 있던 영상 모음집 다 올려따
일반
nxsolo
05/28/25 1662 17
일반
아니 시발새끼야
12341944
05/27/25
5121
35
아니 시발새끼야
일반
12341944
05/27/25 5121 35
일반
첨단의료국가 개쩌네
Eclatz
05/26/25
5373
29
첨단의료국가 개쩌네
일반
Eclatz
05/26/25 5373 29
일반
경각심 없는 센세
AND
05/26/25
4806
47
경각심 없는 센세
일반
AND
05/26/25 4806 47
일반
세븐데이즈 70퍼센트정도 번역 했는데
미스터장
05/25/25
2945
28
세븐데이즈 70퍼센트정도 번역 했는데
일반
미스터장
05/25/25 2945 28
일반
이 콘숭이들 개추만 누르고 댓글은 안다네
미소노미카
05/24/25
1877
36
이 콘숭이들 개추만 누르고 댓글은 안다네
일반
미소노미카
05/24/25 1877 36
일반
냥줍 2일차에 일기 [장문주의] [혐주의]
nadumi
05/23/25
2260
33
냥줍 2일차에 일기 [장문주의] [혐주의]
일반
nadumi
05/23/25 2260 33
일반
이제 추천 취소된다고 낚시도 못하겠네
mabel
05/23/25
1114
17
이제 추천 취소된다고 낚시도 못하겠네
일반
mabel
05/23/25 1114 17
일반
육미호가 구미호 되려는 만화
AND
05/23/25
2509
34
육미호가 구미호 되려는 만화
일반
AND
05/23/25 2509 34
일반
생각보다 개추가 짜네...
비앙카
05/22/25
2907
72
생각보다 개추가 짜네...
일반
비앙카
05/22/25 2907 72
일반
요청 탭은 일부러 없앤 거에요
ㅇㅇ
05/20/25
4076
47
요청 탭은 일부러 없앤 거에요
일반
ㅇㅇ
05/20/25 4076 47
일반
아참 혹시나 해서 말해줄게 있음
노아선배
05/20/25
3309
45
아참 혹시나 해서 말해줄게 있음
일반
노아선배
05/20/25 3309 45
일반
뭐야 코네는 개추 2번 누르면 취소도 되네
어스리
05/19/25
1856
41
뭐야 코네는 개추 2번 누르면 취소도 되네
일반
어스리
05/19/25 1856 41
일반
권고사항 한 가지
앨리스
05/19/25
97484
177
권고사항 한 가지
일반
앨리스
05/19/25 97484 177
일반
댓글에 추천 있는거 실화임?
네루
05/19/25
2693
43
댓글에 추천 있는거 실화임?
일반
네루
05/19/25 2693 43
일반
404 / 소미 둘 다 관리 인력을 충원할 예정임
앨리스
05/19/25
21946
74
404 / 소미 둘 다 관리 인력을 충원할 예정임
일반
앨리스
05/19/25 21946 74
일반
5달라 후원 눌렀다
88888
05/19/25
1952
27
5달라 후원 눌렀다
일반
88888
05/19/25 1952 27
일반
적당히 조절해서 업로드 부탁드려요
ㅇㅇ
05/19/25
4041
53
적당히 조절해서 업로드 부탁드려요
일반
ㅇㅇ
05/19/25 4041 53
일반
서브개설 투표도움 요청 자제 부탁드림
Ghost
05/18/25
19047
58
서브개설 투표도움 요청 자제 부탁드림
일반
Ghost
05/18/25 19047 58
일반
탭 생성 완료
앨리스
05/18/25
1442
34
탭 생성 완료
일반
앨리스
05/18/25 1442 34
일반
업로드 예정목록
Ghost
05/18/25
8276
35
업로드 예정목록
일반
Ghost
05/18/25 8276 35
일반
미방짤 모음집
Geoom
05/17/25
1694
15
미방짤 모음집
일반
Geoom
05/17/25 1694 15
일반
오 개추 취소도 되는데?
니케
05/17/25
1363
44
오 개추 취소도 되는데?
일반
니케
05/17/25 1363 44
일반
완장들 대부분이 자는지 응답이 없어서 지금 2~3명 밖에 없어요
ㅇㅇ
05/17/25
1796
24
완장들 대부분이 자는지 응답이 없어서 지금 2~3명 밖에 없어요
일반
ㅇㅇ
05/17/25 1796 24
일반
자자 다들 아시죠?
준이
05/17/25
1997
26
자자 다들 아시죠?
일반
준이
05/17/25 1997 26
s/somisoft
• 143,985 subscribers여러가지 다루는 서브
Created 05/17/2025, 14:58:43