kone
ainovel
ainovel

로컬 대용량 돌릴 만한 프로그램 없나요?

질문
7,103 views · 1 point

재미있게 읽었던 소설 100~200화 정도 쌓인 거 있는 거 한번 번역 해볼까 하는데,

추출까지는 했는데, 배치번역기에 api넣으라는거 이거저것 넣어봐도 안되고..

로컬llm으로 구동한 걸 기반으로 뭔가 대용량으로 돌릴만한 방법이 없을까요?

혹시 이런 정보 얻을 수 있는 곳이나, 글 같은게 있을까요???

아카라이브쪽이랑 선협마이너갤러리 쪽에서 좀 찾아봤는데, 그냥 직접 하는 퀄이 어떻다 이런 내용은 찾았는데, 방법에 대한 내용이 없더라구요.

결국 못찾아서 챗지피티 이용해서 대용량 돌리는거 까지는 성공했는데, 퀄리티가 정말 형편없습니다;;; 직접 2000~3000자로 넣어서 답변 받아볼때랑은 천지차이에요;;

1
16 comments
로컬ai는 써먹기 힘들어요 5090같은걸써야 써먹을까말까 인터넷에서 llm 번역기같은걸 써먹는게 싸게먹힘 배치번역기 나쁘지 않기는한데... 무료한계때문에 중간마다끊기면 차라리 텍스트를 나눠서 번역시키는것도 좋음 모델도 플래시라이트는 좀 별로고... 최근에는 번역을 안돌려서 헷갈리기는 한데 제미니 무료api 한계가 하루 호출 5회에 회당 1만자정도? 였던걸로 기억함
(edited )
음, 제가 언젠가 로컬 llm html 프로그램을 올렸던 것 같은데... 안올렸나? 쨌든 말씀해주시면 바로 올려드릴 수도 있어요. 다만 그 전에 최소한 gemma4 26b a4b 정도는 돌아가는 컴퓨터여야 번역이 쓸만하고(속도도 70토큰은 나와줘야 하구요)... 사실 그것도 부족하긴 하더라구요. 대략 최소 16g 글카 vram에 32g 램은 필요할 것 같습니다
아, 역시 예전에 올렸었네요 로컬ai로 번역 돌리기. 라고 검색하셔서 제가 쓴 글을 먼저 한번 봐 보세요. 궁금한게 있으면 답도 해 드릴게요.
vram 12기가(5070 일반기) 기준 젬마4 12b 4qbit 모델로 돌리면 초당 80토큰~120토큰 정도 처리됨 vram이 그래서 몇기가인지가 중요함
로컬로 고성능 돌리려면 vram 16기가 이상이여야 26b 아슬아슬하게 얹을 수 있음
로컬은 속도 느려터져서 생각보다 힘듬
그걸로 돌려봤는데 생각보다 퀄리티가 구림
어디 웹에 올려두고 구글번역이나 웨일번역 돌려서 보는게 더 나을듯?
로컬은 퀄리티도 문제인데 속도조차 느려서...
All
Title
Body