kone
ainovel

ainovel

적정한 청크 수치라는게 있을까요?

01/15/2026, 00:32:30
질문
1948 views · 1 likes

주로 관능소설이나 라노벨을 위주로 돌리고 있고

원 소스가 epub가 많고 사용하기가 편해서

시마린 번역기에 제미나이 2.5pro,

프롬프트는 본 서브에서 본 누더기 프롬프트를 조금 손봐서 사용중입니다..


시마린의 기본 청크는 4096인데 저는 10000으로 사용중입니다.

근데 번역기 돌리다보면 꼭 사용자 사전에 등록한걸 까먹고 엉뚱한 명칭을 내놓을 때가 생기더라고요.


어디서 주어들은 바로는 청크를 줄이면 그런 문제를 좀 잡을 수 있다라고 들은 것도 같아서요

청크를 줄임으로서 그게 가능한지와

청크를 줄이면 사용량 증가로 인한 비용 증가도 있는지 궁금합니다.

1
5 comments
Sign in to comment
01/15
하루에 요청횟수가 정해져있기 때문에 gemini 해당 모델이 정해둔 횟수만 요청할 수 있습니다. 한번에 요청할 때에 너무 많이 하면 짤리고요. gemini가 처리하다가 토큰제한을 넘으면 에이 관둬 그러면서 누락하는 거죠. 하지만 적게 요청해도 짤리는 경우가 있습니다. 그래서 중요한 것은 chunk수는 확실히 토큰제한으로 짤리지 않을 정도(약2만)으로 해두고 누락되거나 오역되는 이름처리 같은 것들만 다 잡아내서 기록해두었다가 한번에 모아서 재번역하도록 하는 번역 알고리즘이 중요하죠. 예를들어서 번역 전에 소설 챕터 별로 (번역 시작) 그리고 끝에 (번역종료) 이런 태그를 추가하고 프롬프트에서 한글로된 이러한 태그를 누락하지 말라고 해두고...누락하면 프롬프트를 무시하고 번역했으므로 해당 화수는 통으로 재번역하면 오류를 줄일 수 있죠.
시마린은 용어집 아예 치환해버리던데? 그게 작동 안하고 있는거 아님? 번역 중간에 고유명사 치환되어 있는지 확인해보셈
시마린도 배치번역기도 검열 기본 전략은 청크 분할임 api가 검열 뱉으면 청크 둘로 쪼개버리기 때문에 청크 크기 늘린게 소용 없음 로그 보고 아예 검열을 안뱉도록 프롬프트 수정해야 함
청크분할하면 확실히 잡히긴 하는데 그래도 검열되는건 특정문단에 있더라고요 75청크까지도분할된거 본적있음 프롬포트가 검열 안먹게 하는게 관건이고 특정단어는 용어집으로 치환하는것도 방법입니다 그래도 검열은 걸릴수있으니 한무분할하게 되지만 그나마 나아집니다
이것저것 짜맞춰서 하고 있긴한데 개개인의 노하우가 중요하다보니 문외한인 저로서는 많이 어렵긴 하네요 더 알아봐야겠습니다 감사합니다
Sign in to comment