PDF 테스트 중인데 확실히 인풋 토큰이 확 줄긴 하는듯
promptToken = 인풋 토큰
candidatesTokenCount = 대답 토큰
totalTokenCount = 총 토큰 (인풋+사고+대답)
원래 프롬프트에 이런 저런 정보 무지막지하게 쑤셔박아서 인풋 토큰으로 매 요청당 45000 토큰 정도 썼었는데
System Instruction이랑 Few-shot examples (배치번역기에서 prefill에 해당하는 것들) 은 PDF에 안 넣고,
메인 프롬프트만 PDF에 넣는데도 인풋 토큰 1827 고정, 거의 4% 수준
나머지 내용도 다 쑤셔박으면 진짜 말도 안 되는 수준으로 토큰 소모량 줄긴 할듯
TPM 제한에 걸릴 일은 확실히 없어지긴 하는듯
무료 유저는 RPD가 문제라서 그렇지
그리고 PDF 페이지 규격 자체를 비표준으로 무지막지하게 키워서 글자 때려박는 방식도 유효함
s/ainovel
• 8,080 subscribers- 1. ※번역 요청 규칙※
본문에 원문 또는 후기 혹은 원문과 후기 둘 다 포함 필수. ex. [후기] 검도지로 1~2340 완; 또는 [원문/후기] 검도지로 1~2340 완 그 외 번역 요청은 이 글이 아닌 번역 요청 공지글에 댓글로 작성해주세요. 타 사이트의 자료 요청 금지. ※요청 규칙 미숙지시 7일 차단※
- 2. ※복구 요청 규칙※
원글 링크를 붙여주세요. 복구 자료는 복구 요청글의 링크를 첨부해주세요. 복구 요청은 공유할때까지 도배하지말고 기다려주세요. ※요청 규칙 미숙지시 7일 차단※
- 3. 욕설 및 비속어 금지
욕설, 비하, 혐오, 성적인 발언, 정치적 조롱 등은 일절 금지합니다. 상대를 직접적으로 공격하거나 조롱하는 행위는 즉시 제재 대상이 됩니다.
- 4. 분쟁 자제
의견 충돌이 발생하더라도 인신공격 없이 논리적인 대화 로 해결하도록 합니다. 지속적으로 분쟁을 유발하는 행위는 경고 또는 차단 조치의 대상이 됩니다.
- 5. 게시글 및 댓글 작성 기준
허위정보, 루머, 도배, 낚시성 게시물 은 삭제될 수 있습니다. 컨텐츠 관련 비판은 허용하되, 사람을 향한 비난은 허용되지 않습니다.
- 6. 공유 링크는 base64로 암호화 필수 (즉 본문 링크는 base64로 복호화 필요)
※연재처의 링크는 암호화 대상에서 제외합니다※
- 7. 닉네임 언급 및 친목 금지.