kone
ainovel
ainovel

TPM하향 되어서 기존 세팅으로 번역하면 api 에러가 많이 나는 것과 해결책

잡담
28,636 views · 0 points

한 2주 전에 gemini-3.1-pro-preview에서 에러가 많이 나서 이렇게 세팅을 수정 하니까 에러가 없어졌거든요.

RPM=1,TPM_limit=5000

키당 동시 작업자 1로하고 TPM 5천으로...

그래서 그냥 3.1 flash lite버전을 쓰면서 TPM 20000으로 번역했는데 2만으로 하면 키당 한번에 5~6화정도 문쳐서 chunk로 번역할 수 있기 때문이죠. 그랬는데 오늘 해보니까 api에러 무응답, 응답시간이 굉장히 길어지고 응답이 와도 처음 1화만 번역이 성공하고 나머지는 미번역으로 나오는 등 에러가 심하더라고요.

그래서 3.5랑 3.1에서 TPM을 6000으로 내렸더니 에러는 거의 사라졌습니다.

하지만 chunk최대 용량이 줄어서 동시에 2화 밖에 번역이 안되는 거죠.


그래도 번역은 이전 속도로 되고 무응답 에러가 20화 중에 1화정도로 줄었으니까 할만해 졌습니다.

저번 주 잠수함 패치로 번역이 잘 안되는 분들은 참고하시면 잘 될 것 같습니다.

0
10 comments
TPM 5천, 6천=잘됨. 1만=안됨. 2만=안됨. 7,8,9천은 안해봤습니다. 정확히 제한이 어느 정도에서 걸리는 지는 모르겠네요.
배치로 3플 청크크기 4000으로 돌리는데 오류 엄청뜨더라구요..
(edited )
그러면 프로그램의 문제일 것 같습니다. 저는 자체 제작한 걸로 하고 있거든요. 아니면 키당 동시 작업자 수를 1로 해보세요.
지금 503 오류가 tpm때문이라는 말씀이신가요? 토큰 엄청 줄이고 동시 작업자 수도 1로 했는데 똑같이 503 뜨는거보면 그냥 구글 서버문제지 tpm 문제는 아닌거 같아요. Tpm은 동시 작업 수와 관련된 거니까요.
(edited )
본문에 적힌 Tpm 사이즈랑 rpm보면 tpm실제 의미보다는 tpm=청크크기로 보는게 맞을듯싶네요. Rpm을 1로놓고 tpm을 제한하면 tpm사이즈대로 쳥크가 나눠지겠죠, 작성자분이 의미를 헷갈리신듯
(edited )
전 2만으로 잘 돌아가더라고요, 타이밍 문제인듯
전 2.5 flash는 2만으로 잘 돌아가는데 3.5 flash는 2만으로 하면 미번역이 줄줄이 뜨더라고요. tpm 6천으로 낮추고는 안뜨고요.
하나 하나 복사 붙여넣기 번역법을 고수해서 이런 문제를 못 느꼈었는데.... 좋은 팁 감사합니다. 제 생각엔 정보글로 탭을 옮기셔도 될 거 같습니다.
All
Title
Body