kone
ainovel
ainovel

PDF 테스트 중인데 확실히 인풋 토큰이 확 줄긴 하는듯

잡담
6,779 views · 4 points
1
1

promptToken = 인풋 토큰

candidatesTokenCount = 대답 토큰

totalTokenCount = 총 토큰 (인풋+사고+대답)

원래 프롬프트에 이런 저런 정보 무지막지하게 쑤셔박아서 인풋 토큰으로 매 요청당 45000 토큰 정도 썼었는데

System Instruction이랑 Few-shot examples (배치번역기에서 prefill에 해당하는 것들) 은 PDF에 안 넣고,

메인 프롬프트만 PDF에 넣는데도 인풋 토큰 1827 고정, 거의 4% 수준

나머지 내용도 다 쑤셔박으면 진짜 말도 안 되는 수준으로 토큰 소모량 줄긴 할듯

TPM 제한에 걸릴 일은 확실히 없어지긴 하는듯

무료 유저는 RPD가 문제라서 그렇지

그리고 PDF 페이지 규격 자체를 비표준으로 무지막지하게 키워서 글자 때려박는 방식도 유효함

4
4 comments
우와
많이들 쓰면 꼼수라고 금방 막아버릴듯한데 걱정이네
누가봐도 꼼수라서 오래 쓸 수 있는 방법은 아닌 듯 하네요 ㅠ
All
Title
Body