kone
ainovel
ainovel

아까 3.8 번역 이상해졌다는 글에 자료 받아서 ais에서 여러번 돌려보면서 비교해봤음

잡담
10,762 views · 3 points

https://kone.gg/s/ainovel/dmWEajpggvRR90TNJieAeb

1


3.8 플래시의 단순 숫자 오기, 대체 왜 나오는가?

가장 쉽고 틀리기도 어려운 단순 숫자 오기가 왜 나오는지 분석해 보기로 했습니다.

테스트 방법

  • AI Studio에서 제 프롬프트와 제공받은 프롬프트를 각각 다른 창에 넣고 비교했습니다. (용어집은 사용하지 않고 시스템+메인 프롬프트만 넣었습니다.)

  • 모델은 문제의 3.8 플래시입니다. 오역 문장이 포함된 챕터에 다음 챕터를 이어 붙인 뒤, AI Studio 토큰 카운터 기준 프롬프트 제외 원문 크기 6600토큰 청크로 쪼개서 사용했습니다.

  • 추론 Low/Medium/High를 각각 5회씩, 프롬프트마다 돌렸습니다.

  • 원래는 각 10회씩 돌리고 3.1 프로와 아르곤에서도 테스트해 총 100회가량 채울 계획이었습니다. 하지만 폰으로 볼 때는 흥미진진하던 게 집에 오니 의욕이 떨어져서 15회로 줄었습니다…

결과

  • 제 자작 프롬프트: 오역 0회

  • 제공받은 프롬프트: Low 1회, Medium 1회, High 1회로 총 3회

추론 수준과 관계없이 세 단계 모두에서 오역이 나왔습니다. 추론량을 올려도 오류가 사라지지 않았으므로, 추론이나 출력 전 토큰 사용량보다는 프롬프트 쪽 요인일 가능성이 크다고 판단했습니다. 다만 표본이 작아 단정은 어렵습니다.

CoT 확인
오역이 난 출력의 CoT를 뜯어봤지만 원인은 찾지 못했습니다.

  • Low: CoT를 아예 출력하지 않음

  • Medium: 딱 3줄짜리 CoT만 출력

  • High: CoT 요약이 100줄을 넘었지만, 정작 오역과 관련된 부분은 없었음

그래서 아르곤과 소넷 5.5에게 프롬프트 전문과 에러가 난 부분 앞뒤 20줄가량을 주고, 왜 이런 에러가 났는지 분석해 달라고 부탁했습니다. 결과는 아래와 같습니다. (모델의 분석은 검증된 원인이 아니라 사후에 추정한 가설입니다.)

소넷5.5의 분석
원인 분석

오역의 정체

내용

원문

也不过够买7、8瓶 (7~8병)

오역

대여섯 병 (5~6병)

의미 해석은 맞고 어림수 단어만 틀렸습니다. 중국어 七八은 한국어 일고여덟에 해당하고, 대여섯은 五六입니다. 모델이 이 단어를 한 칸 잘못 고른 겁니다.

왜 20% 확률로 틀리나

1. 프롬프트 규칙 6이 변환을 유도함

  • 규칙 6은 "자연스러운 수량은 한글 수사를 사용할 수 있다"고 허용합니다.

  • 원문이 7、8로 아라비아 숫자인데, 어림수라서 "정확한 수치는 아라비아 숫자" 규칙과 "자연스러운 수량은 한글 수사" 규칙이 충돌합니다.

  • 결국 모델이 7、8병을 그대로 두지 않고 대여섯, 예닐곱, 일고여덟 중 하나로 바꾸는 경로를 타게 됩니다.

2. 한국어 어림수 단어는 모델이 헷갈리기 쉬운 영역

  • 대여섯(5~6), 예닐곱(6~7), 일고여덟(7~8), 여덟아홉(8~9)처럼 단어와 숫자의 대응이 규칙적이지 않아 외워서 맞춰야 합니다.

  • 일고여덟은 대여섯, 예닐곱보다 빈도가 낮아서, 샘플링할 때 확률이 비슷한 이웃 단어로 새는 일이 생깁니다. 20%라는 수치가 전형적인 "확률 분포가 평평한 지점"의 증상입니다.

  • 문맥상 대여섯 병 남짓이 한국어로 아주 자연스러운 연어라서 유창함에 끌려간 면도 있습니다.

3. 원문의 、 처리

  • 프롬프트가 "문장 부호는 엄격히 따르라"고 하는데, 7、8의 、는 한국어에 없는 부호입니다. 그대로 두면 7、8병이 어색하고, 어색함을 피하려다 한글 수사로 도망가는 경로가 생깁니다.

4. 검증 단계가 없음

  • Flash 계열은 추론 없이 바로 출력하면 이런 숫자 매핑 실수를 스스로 걸러내지 못합니다. 프롬프트의 "원문의 정보를 누락, 허위 생성 금지"는 추상적이라 숫자 오류를 특정해서 막지 못합니다.



    아르곤의 분석

    원문의 **7、8瓶(일곱여덟 병 / 7~8병)**이 **대여섯 병(5~6병)**으로 20%의 확률로 둔갑하는 현상은, **프롬프트의 특정 지시사항**과 **한국어 언어 모델의 통계적 관용구 편향(Collocation Bias)**이 충돌하면서 발생하는 전형적인 **‘과교정(Over-correction)에 의한 환각(Hallucination)’** 현상입니다.

    구체적인 원인을 원문, 프롬프트, LLM의 작동 방식 3가지 측면에서 분석해 드리겠습니다.

    ---

    ### 1. 프롬프트 측면의 원인: [원칙 6번]의 강한 유도

    프롬프트의 Key Principles 6번 항목을 보면 다음과 같이 되어 있습니다.

    > **6. 숫자 표기의 원칙은 다음과 같다.**

    > - 정확한 수치·날짜·시간·번호·단위는 아라비아 숫자를 우선한다. (32세, 140km, 3시, 42번)

    > - **일상적 발화나 문학적 서술에서 자연스러운 수량·나이는 대화체, 구어체 리듬을 살리기 위해 한글 수사를 사용할 수 있다.** (서른둘, 열 명, 스무 살)

    * **작동 과정:** 원문은 아라비아 숫자인 7、8瓶으로 되어 있지만, 이는 정확한 통계 수치가 아니라 '대략 그 정도'를 뜻하는 문학적 서술(어림수)입니다.

    * **추론(Reasoning) 모델의 판단:** 추론 강도를 High로 설정하셨기 때문에, 모델은 6번 원칙의 두 번째 조건을 적극적으로 준수하려고 시도합니다. 즉, 7, 8병이라고 숫자로 적는 것보다 **순우리말 어림수(한글 수사)**로 풀어서 적는 것이 "문학적 서술의 구어체 리듬을 살리는 유능한 번역가(Overview 페르소나)"에 부합한다고 판단하게 됩니다.

    ### 2. 언어 모델(LLM)의 통계적 편향: 한국어 어림수의 빈도 차이

    모델이 7、8을 한글 수사로 바꾸기로 결심한 순간, 한국어 코퍼스(말뭉치)의 **빈도수 함정**에 빠지게 됩니다.

    * **중국어의 습관:** 중국어에서는 어림수를 표현할 때 三四(3~4), 五六(5~6) 못지않게 **七八(7~8)**이라는 표현을 관용적으로 매우 자주 씁니다. (예: 七八成, 七八个 등)

    * **한국어의 습관:** 반면 한국어에서 물건의 개수를 어림잡아 낮춰 말할 때 가장 압도적인 빈도로 쓰이는 순우리말 합성어는 **‘두세(2~3)’, ‘서너(3~4)’, ‘네다섯(4~5)’, ‘대여섯(5~6)’**입니다.

    * **발음과 형태의 장벽:** 7~8을 뜻하는 순우리말은 **‘일곱여덟’** 또는 **‘곱여덟’**인데, ‘대여섯’에 비해 음절이 길거나 현대 한국어 문학에서(~병 남짓 사는 게 고작이었다 같은 문맥에서) 쓰이는 빈도가 현저히 낮습니다.

    ### 3. 문맥적 공명: "고작 ~ 남짓"과의 결합 (Collocation)

    원문의 문맥은 不过够买7、8瓶(기껏해야 7~8병 사는 게 고작이다)입니다.

    한국어 문장 생성 과정에서 **"전 재산을 털어도 [ ? ] 병 남짓 사는 게 고작이었다"**라는 문장 구조가 만들어질 때, LLM의 어텐션(Attention) 메커니즘은 정확한 숫자(7、8)보다 **‘적은 수량’, ‘고작’, ‘남짓’**이라는 주변 어휘에 더 강하게 반응합니다.

    그 결과:

    1. 7、8瓶을 한국어 어림수로 바꿔야겠다. (프롬프트 6번 원칙)

    2. 문맥상 '기껏해야 몇 병 안 되는 적은 수'를 뜻하는 자연스러운 한국어 표현이 필요하다.

    3. 한국어 문학 데이터에서 [전 재산을 털어도] + [ ? ] + [남짓 사는 게 고작] 사이에 가장 자연스럽게 들어가는 고빈도 토큰은 일곱여덟이 아니라 **대여섯**이다.

    4. 모델이 정확한 수치(1번 원칙)보다 문학적 자연스러움(6번 원칙)에 가중치를 두는 20%의 확률 구간에서 7、8을 무시하고 대여섯을 출력하게 됩니다.




    물론 AI가 써준 답이니까 정확도는 보장못합니다.

3
6 comments
우우 뚜땨...세줄 요약 좀...
3.8은 숫자를 아라비아 숫자가 아니라 한국어로 옮겨 쓰려는 경향이 3.7보다 강해서 작성한 규칙이었는데 저거때문에 터지나보네요. 다 아라비아 숫자로 쓰라고 해야 하나... 근데 쟤 빼고 통통이나 알아옘다, 읽는덴 자연스럽지만 의미는 정반대인 오역같은건 프롬프트 그냥 텅 비우고 한국어로 번역해라 해도 생기더라구요
퇴근하니까 의욕바닥이라 더 못하겠음,, 통통은 궁금해서라도 한번 분석해보고싶긴한데 능력자들도 못고치는걸보면 시간낭비일것같아서,,,
All
Title
Body