kone
ainovel
ainovel

원문 PDF로 넣는 거 확실히 토큰 절감되네요

잡담
7,433 views · 4 points

지금 대충 만든 테스트 버전으로 입력 토큰이 70% 정도 절감됬는데, 원본 js처럼 1개의 pdf에 통합하지 않았고, 텍스트로 남아잇는 부분이 있어서 그러네요

저거까지 다 1개의 pdf로 합칠 수 있으면 더 많이 줄어들 거 같네요

아래는 GPT와의 대화 내역

근데 3.8플로 테스트하려니까 서버 상태가 너무 안 좋아서 오늘은 여기까지만 해볼 듯

잘 되면 나중에 배치번역기 라이선스에 따라 패치버전을 올리든지 패치툴을 유틸자료실에 올리지 않을까 싶네요

1

이번 A/B 테스트에서는 첫 번째 PDF 요청은 성공했고, 두 번째 PDF 요청에서 429가 발생했습니다.

이후 세 번째 TEXT 요청까지 진행됐다는 점을 보면 PDF 형식 자체가 거부된 상황은 아닙니다.

Q. 왜 4,030 토큰이지? 12000자 1파일에 못담았나? 1장이면 280 토큰인데

A1. 12,000자는 1pt PDF 한 페이지에 들어갑니다

현재 패치의 PDF 생성 코드를 직접 확인했습니다. A4, 여백 0, 글자 폭 0.5pt, 줄 간격 1pt 설정이며, 중국어 11,994자로 시험했을 때 1페이지 PDF가 생성됩니다.

따라서 원문이 여러 페이지로 쪼개져서 4,030토큰이 나온 것이라고 보기는 어렵습니다.

A2. 실제로 PDF 몇 개, 몇 페이지를 보냈는지 확인하는 방법

이미 설치하신 패치가 필요한 정보를 전부 기록하도록 만들어져 있습니다. A/B 테스트가 끝나면 결과창 하단에 모달리티와 PDF 페이지 수가 표시됩니다. 더 자세히 확인하려면 다음 파일을 열어보시면 됩니다.

BTG_PageFold_source\logs\pagefold_usage.csv

여기서 첫 번째 PDF 요청의 값을 확인해 주세요.

예를 들어 pdf_files=2, pdf_pages=2, input_image=560이라면, 원문 1페이지와 프리필 1페이지가 각각 PDF로 첨부된 것이며, 나머지 토큰은 이미지 이외의 입력에서 발생한 것입니다.

해당 CSV의 PDF 행 하나를 보내주시면 4,030토큰이 어디에서 발생했는지 정확히 분해하고, 현재 프롬프트·프리필 구조에서 추가로 줄일 수 있는 부분까지 확인할 수 있습니다.

1
1

또한 Google은 Gemini 3에서 PDF에 내장된 텍스트를 추출하여 모델에 제공하며, 이 추출된 네이티브 텍스트의 토큰에는 별도 요금을 청구하지 않는다고 명시합니다. 따라서 prompt_token_count만 비교해서 실제 청구 금액이 정확히 69.7% 줄었다고 확정하는 것도 주의해야 합니다.

Q2. 지금 pdf 입력은 본문만되나?

현재는 본문만 PDF로 보내는 구조가 아닙니다. Gemini에 전달되는 USER 역할의 텍스트 전체를 PDF로 변환합니다.

1

예를 들어 번역 프롬프트에 {{slot}}과 {{glossary_context}}가 있다면, 두 항목을 실제 본문과 용어집으로 치환한 완성된 프롬프트 전체가 하나의 PDF로 만들어집니다. 프리필 USER 메시지가 있으면 추가 PDF가 생성됩니다.

따라서 현재 구조는 본문 전용 PDF가 아니라 USER 메시지 전체 PDF 방식입니다.

앞서 측정된 입력 4,030토큰의 정확한 구성은 usage_metadata의 유형별 내역을 봐야 합니다. 다만 프롬프트와 용어집까지 PDF에 포함된다는 점은 확실합니다.

네. 첨부하신 원본 js는 프롬프트와 프리필까지 PDF로 변환할 수 있는 옵션이 있습니다. 정확히는 개별 ON/OFF 토글이 아니라 네 가지 패키징 모드로 제어합니다.

1

원본의 기본값은 **절약(maximum)**입니다. 별도로 연속된 SYSTEM 또는 USER 메시지를 합치는 옵션도 있습니다.

반면 제가 만든 패치에는 이 네 가지 모드가 아직 구현되어 있지 않습니다. 현재는 완성된 번역 프롬프트·본문·주입된 용어집과 USER 프리필을 PDF로 바꾸지만, 시스템 프롬프트와 MODEL 프리필은 일반 텍스트로 유지합니다. 또한 USER 메시지마다 PDF를 따로 생성합니다.

따라서 원본의 절약 모드처럼 프롬프트·프리필·본문을 모두 PDF 하나로 통합하는 기능은 현재 패치에 빠져 있습니다. 이 차이는 PDF 파일 수와 입력 토큰 사용량에도 영향을 줄 수 있습니다.

4
7 comments
캬 이게 되네 수고하셨음
(edited )
이미 ai채팅 쪽에서 쓰이던 거를 가져온 거라 될거라 생각하긴 했어요 번역 품질이 어떨까가 문제였지 일단 본문+@ 정도만 저렇게 보내는 건 품질 문제가 없는 거 같네요 프리필이나 그런 거까지 묶어서 보내면 어떨까 모르겠네요 지금 요청은 TEXT 3,498토큰 + IMAGE 532토큰으로 들어갔다는 거 봐서 본문이랑 별도 PDF 각 1장 이렇게 2장 + 저 외의 것들 TEXT 원문으로 들어간 거네요 일단 지금은 배치번역기의 청크 크기만큼 원문을 잘라서 PDF로 만들게 해놨는데 용어집 같은 게 그 청크크기보다 크면 어떻게 처리할지도 고민해야할 거 같고
뭔가 ... 뭔가...가 일어나고 있어
.md 파일로 넣는거보다 낫나요? .md가 인공지능이 인식하기 좋은 걸로 아는데
(edited )
pdf로 넣는건 pdf파일 토큰 카운트정책 꼼수 이용해서 더 싸게 맡기는게 목적이라 상관없는 얘기아닐지. 소설은 markdown으로 꾸민게 드물기도 하고 있더라도 마크다운 신택스 그대로 pdf에 넣으면 되니까..
All
Title
Body