kone
소미소프트
소미소프트

실시간 번역기 관련 질문입니다

질문
3,425 views · 0 points
1

위 사진은 developer 이고 아래는 my models 입니다.
처음 실행시킬때는 GPU offload 35로 설정을 해놓고 실행시켰었습니다.


0
12 comments
밑에 페이지는 별 상관없어보입니다. 로드된 모델도 아니고 저렇게 새로 로드하겠냐고 묻는거라 위 페이지가 진짜고 저 사진 봐서는 뭐가 문젠진 잘 모르겠습니다... 8기가 vram에 4.4기가 모델에 컨텍스트 4096이면 GPU에 안들어갈 리가 없고요.
processing prompt에 시간 잠깐 걸리는건 원래 그런거라 잘 모르겠네요. LM Studio 안에서 위에 채팅창 들어가서 아무거나 물어보고 몇 토큰/초 나오는지 보세요.
(edited )

Deleted comment.

아 혹시 Precacher 쓰시는거면 쓰시는 모델이 지능이 너무 낮으면 특정 문장은 계속 실패만 할테니까 대부분의 시간에 processing prompt만 계속 뜰겁니다
뭐가 질문이에요?
댓글로 물어보다가 사진 보여드리려 글쓴거라 설명이 부족했네요.. 죄송합니다 현재 processing prompt 가 너무 많이 나와서 속도가 느린것 같아 물어보는 중이었습니다
All
Title
Body