아까 3.8 번역 이상해졌다는 글에 자료 받아서 ais에서 여러번 돌려보면서 비교해봤음
https://kone.gg/s/ainovel/dmWEajpggvRR90TNJieAeb
3.8 플래시의 단순 숫자 오기, 대체 왜 나오는가?
가장 쉽고 틀리기도 어려운 단순 숫자 오기가 왜 나오는지 분석해 보기로 했습니다.
테스트 방법
AI Studio에서 제 프롬프트와 제공받은 프롬프트를 각각 다른 창에 넣고 비교했습니다. (용어집은 사용하지 않고 시스템+메인 프롬프트만 넣었습니다.)
모델은 문제의 3.8 플래시입니다. 오역 문장이 포함된 챕터에 다음 챕터를 이어 붙인 뒤, AI Studio 토큰 카운터 기준 프롬프트 제외 원문 크기 6600토큰 청크로 쪼개서 사용했습니다.
추론 Low/Medium/High를 각각 5회씩, 프롬프트마다 돌렸습니다.
원래는 각 10회씩 돌리고 3.1 프로와 아르곤에서도 테스트해 총 100회가량 채울 계획이었습니다. 하지만 폰으로 볼 때는 흥미진진하던 게 집에 오니 의욕이 떨어져서 15회로 줄었습니다…
결과
제 자작 프롬프트: 오역 0회
제공받은 프롬프트: Low 1회, Medium 1회, High 1회로 총 3회
추론 수준과 관계없이 세 단계 모두에서 오역이 나왔습니다. 추론량을 올려도 오류가 사라지지 않았으므로, 추론이나 출력 전 토큰 사용량보다는 프롬프트 쪽 요인일 가능성이 크다고 판단했습니다. 다만 표본이 작아 단정은 어렵습니다.
CoT 확인
오역이 난 출력의 CoT를 뜯어봤지만 원인은 찾지 못했습니다.
Low: CoT를 아예 출력하지 않음
Medium: 딱 3줄짜리 CoT만 출력
High: CoT 요약이 100줄을 넘었지만, 정작 오역과 관련된 부분은 없었음
그래서 아르곤과 소넷 5.5에게 프롬프트 전문과 에러가 난 부분 앞뒤 20줄가량을 주고, 왜 이런 에러가 났는지 분석해 달라고 부탁했습니다. 결과는 아래와 같습니다. (모델의 분석은 검증된 원인이 아니라 사후에 추정한 가설입니다.)
소넷5.5의 분석
원인 분석
오역의 정체
내용 | |
|---|---|
원문 | 也不过够买7、8瓶 (7~8병) |
오역 | 대여섯 병 (5~6병) |
의미 해석은 맞고 어림수 단어만 틀렸습니다. 중국어 七八은 한국어 일고여덟에 해당하고, 대여섯은 五六입니다. 모델이 이 단어를 한 칸 잘못 고른 겁니다.
왜 20% 확률로 틀리나
1. 프롬프트 규칙 6이 변환을 유도함
규칙 6은 "자연스러운 수량은 한글 수사를 사용할 수 있다"고 허용합니다.
원문이
7、8로 아라비아 숫자인데, 어림수라서 "정확한 수치는 아라비아 숫자" 규칙과 "자연스러운 수량은 한글 수사" 규칙이 충돌합니다.결국 모델이
7、8병을 그대로 두지 않고대여섯,예닐곱,일고여덟중 하나로 바꾸는 경로를 타게 됩니다.
2. 한국어 어림수 단어는 모델이 헷갈리기 쉬운 영역
대여섯(5~6), 예닐곱(6~7), 일고여덟(7~8), 여덟아홉(8~9)처럼 단어와 숫자의 대응이 규칙적이지 않아 외워서 맞춰야 합니다.
일고여덟은대여섯,예닐곱보다 빈도가 낮아서, 샘플링할 때 확률이 비슷한 이웃 단어로 새는 일이 생깁니다. 20%라는 수치가 전형적인 "확률 분포가 평평한 지점"의 증상입니다.문맥상
대여섯 병 남짓이 한국어로 아주 자연스러운 연어라서 유창함에 끌려간 면도 있습니다.
3. 원문의 、 처리
프롬프트가 "문장 부호는 엄격히 따르라"고 하는데,
7、8의、는 한국어에 없는 부호입니다. 그대로 두면7、8병이 어색하고, 어색함을 피하려다 한글 수사로 도망가는 경로가 생깁니다.
4. 검증 단계가 없음
Flash 계열은 추론 없이 바로 출력하면 이런 숫자 매핑 실수를 스스로 걸러내지 못합니다. 프롬프트의 "원문의 정보를 누락, 허위 생성 금지"는 추상적이라 숫자 오류를 특정해서 막지 못합니다.
아르곤의 분석
원문의 **7、8瓶(일곱여덟 병 / 7~8병)**이 **대여섯 병(5~6병)**으로 20%의 확률로 둔갑하는 현상은, **프롬프트의 특정 지시사항**과 **한국어 언어 모델의 통계적 관용구 편향(Collocation Bias)**이 충돌하면서 발생하는 전형적인 **‘과교정(Over-correction)에 의한 환각(Hallucination)’** 현상입니다.구체적인 원인을 원문, 프롬프트, LLM의 작동 방식 3가지 측면에서 분석해 드리겠습니다.
---
### 1. 프롬프트 측면의 원인: [원칙 6번]의 강한 유도
프롬프트의
Key Principles6번 항목을 보면 다음과 같이 되어 있습니다.> **6. 숫자 표기의 원칙은 다음과 같다.**
> - 정확한 수치·날짜·시간·번호·단위는 아라비아 숫자를 우선한다. (32세, 140km, 3시, 42번)
> - **일상적 발화나 문학적 서술에서 자연스러운 수량·나이는 대화체, 구어체 리듬을 살리기 위해 한글 수사를 사용할 수 있다.** (서른둘, 열 명, 스무 살)
* **작동 과정:** 원문은 아라비아 숫자인
7、8瓶으로 되어 있지만, 이는 정확한 통계 수치가 아니라 '대략 그 정도'를 뜻하는 문학적 서술(어림수)입니다.* **추론(Reasoning) 모델의 판단:** 추론 강도를
High로 설정하셨기 때문에, 모델은 6번 원칙의 두 번째 조건을 적극적으로 준수하려고 시도합니다. 즉,7, 8병이라고 숫자로 적는 것보다 **순우리말 어림수(한글 수사)**로 풀어서 적는 것이 "문학적 서술의 구어체 리듬을 살리는 유능한 번역가(Overview 페르소나)"에 부합한다고 판단하게 됩니다.### 2. 언어 모델(LLM)의 통계적 편향: 한국어 어림수의 빈도 차이
모델이
7、8을 한글 수사로 바꾸기로 결심한 순간, 한국어 코퍼스(말뭉치)의 **빈도수 함정**에 빠지게 됩니다.* **중국어의 습관:** 중국어에서는 어림수를 표현할 때
三四(3~4),五六(5~6)못지않게 **七八(7~8)**이라는 표현을 관용적으로 매우 자주 씁니다. (예: 七八成, 七八个 등)* **한국어의 습관:** 반면 한국어에서 물건의 개수를 어림잡아 낮춰 말할 때 가장 압도적인 빈도로 쓰이는 순우리말 합성어는 **‘두세(2~3)’, ‘서너(3~4)’, ‘네다섯(4~5)’, ‘대여섯(5~6)’**입니다.
* **발음과 형태의 장벽:** 7~8을 뜻하는 순우리말은 **‘일곱여덟’** 또는 **‘곱여덟’**인데, ‘대여섯’에 비해 음절이 길거나 현대 한국어 문학에서(
~병 남짓 사는 게 고작이었다같은 문맥에서) 쓰이는 빈도가 현저히 낮습니다.### 3. 문맥적 공명: "고작 ~ 남짓"과의 결합 (Collocation)
원문의 문맥은
不过够买7、8瓶(기껏해야 7~8병 사는 게 고작이다)입니다.한국어 문장 생성 과정에서 **"전 재산을 털어도 [ ? ] 병 남짓 사는 게 고작이었다"**라는 문장 구조가 만들어질 때, LLM의 어텐션(Attention) 메커니즘은 정확한 숫자(
7、8)보다 **‘적은 수량’, ‘고작’, ‘남짓’**이라는 주변 어휘에 더 강하게 반응합니다.그 결과:
1.
7、8瓶을 한국어 어림수로 바꿔야겠다. (프롬프트 6번 원칙)2. 문맥상 '기껏해야 몇 병 안 되는 적은 수'를 뜻하는 자연스러운 한국어 표현이 필요하다.
3. 한국어 문학 데이터에서
[전 재산을 털어도] + [ ? ] + [남짓 사는 게 고작]사이에 가장 자연스럽게 들어가는 고빈도 토큰은일곱여덟이 아니라 **대여섯**이다.4. 모델이 정확한 수치(1번 원칙)보다 문학적 자연스러움(6번 원칙)에 가중치를 두는 20%의 확률 구간에서
7、8을 무시하고대여섯을 출력하게 됩니다.
물론 AI가 써준 답이니까 정확도는 보장못합니다.
s/ainovel
• 8,080 subscribers- 1. ※번역 요청 규칙※
본문에 원문 또는 후기 혹은 원문과 후기 둘 다 포함 필수. ex. [후기] 검도지로 1~2340 완; 또는 [원문/후기] 검도지로 1~2340 완 그 외 번역 요청은 이 글이 아닌 번역 요청 공지글에 댓글로 작성해주세요. 타 사이트의 자료 요청 금지. ※요청 규칙 미숙지시 7일 차단※
- 2. ※복구 요청 규칙※
원글 링크를 붙여주세요. 복구 자료는 복구 요청글의 링크를 첨부해주세요. 복구 요청은 공유할때까지 도배하지말고 기다려주세요. ※요청 규칙 미숙지시 7일 차단※
- 3. 욕설 및 비속어 금지
욕설, 비하, 혐오, 성적인 발언, 정치적 조롱 등은 일절 금지합니다. 상대를 직접적으로 공격하거나 조롱하는 행위는 즉시 제재 대상이 됩니다.
- 4. 분쟁 자제
의견 충돌이 발생하더라도 인신공격 없이 논리적인 대화 로 해결하도록 합니다. 지속적으로 분쟁을 유발하는 행위는 경고 또는 차단 조치의 대상이 됩니다.
- 5. 게시글 및 댓글 작성 기준
허위정보, 루머, 도배, 낚시성 게시물 은 삭제될 수 있습니다. 컨텐츠 관련 비판은 허용하되, 사람을 향한 비난은 허용되지 않습니다.
- 6. 공유 링크는 base64로 암호화 필수 (즉 본문 링크는 base64로 복호화 필요)
※연재처의 링크는 암호화 대상에서 제외합니다※
- 7. 닉네임 언급 및 친목 금지.