컴퓨터가 읽기 까다로워하는 아티스트 CG (말풍선 없는 대사 많은 작품) 리더를 만들고 싶었다.

꽤 진척이 있다!

• PaddleOCR-VL-for-manga 모델 사용 시도
  허깅페이스에서 발견한 VRAM 16GB+를 요구하는 모델이다. 문제는 BF16이라 3천번대 이후 GPU와 호환되는데, 그게 없다.
  클라우드 IDE 사용하려 해봤으나, VRAM은 충분하지만 BF16 호환성이 떨어져 난관 봉착. TPU는 다른 문제가 발생하더라. 결국 포기.

• PP-OCRv5_server_rec 모델 사용
  기본적으로 세로쓰기를 못 읽더라. 전처리한 데이터를 270도 돌려서 입력해 보았다.
  의외로 괜찮았다. 특히 한자 읽는 실력은 manga-ocr보다 훨씬 뛰어났다.
  하지만 세로쓰기 또는 만화 데이터셋으로 학습된 것이 아니다 보니, 특문과 촉음, 요음을 잘 감지하지 못했다.

여기서 나온 아이디어는, 두 가지의 OCR 데이터를 가지고 LLM에 박아넣는 것이다.

[Task] You are an expert manga translator/editor.

1. Analyze the OCR results (MangaOCR vs PaddleOCR) to determine the correct **Japanese source text**. Fix OCR errors (typos, missing characters).

2. Provide the corrected Japanese text in [READ].

3. Translate it into natural, context-aware **Korean** in [KO].

이런 식이다. (실제 프롬프트는 약 15000자이다)

그리고 이왕 여러 스텝으로 나뉜 겸에 파이프라인으로 돌아가는 걸 CLI로 개조해서 파일 하나로 딸깍, 하도록 만들어 봤다.

.json 출력도 .html 로 가공하도록 만들어 봤다.

결과

이런 느낌.

괜찮지 않나?

Ballontraslator 같은 것들도 artist CG는 이 정도 퀄리티로 못 뽑아냈던 거 같음. 애초에 다 뭉개버리지 않나?

어느 정도 만족한 겸 다음 진행해볼 작업 구상중이다.

• 배포용으로 Colab 원클릭 환경 구축

• 다른 스타일의 폰트, 테두리 등에 호환 가능하도록 개선

• 대사 위치 파악 후 식질 작업할 때 자동으로 가로배치 되도록 제안

이거 말고도 아이디어 있으면 편하게 제안해 줬으면 좋겠다.

결과가 만족스럽네.

이건 약간 고민되는 점인데 혹시 뭔가 해결책 있으면 조언 부탁

• 로컬이 CUDA 11.8 쓰는데 코랩은 아마 12 기반일듯. 우선 재설치가 가능하다고는 하는데 아마 디펜던시 문제 하나는 생길 것 같음

• github에서 직접 가져와야 하는 라이브러리가 하나 있는데 이걸 원클릭으로 커버할 방법을 잘 모르겠음.
  개인이 쓸 거면 drive에 넣어 두면 되는데, 코드 잘 모르는 사람이 하기엔 좀 복잡할 것 같기도
  심지어 이 라이브러리가 numpy<2.0을 요구하는데 대부분의 다른 라이브러리가 numpy를 재설치시켜서 처음 환경 구축하기 어려울듯

그러니까 기본적으로 venv 디펜던시를 그대로 코랩으로 옮기는 건 어렵다고 알고는 있는데, 이거 쉽게 처리 가능한 방법 있을까?

코랩 구축해서 폰으로 '딸깍' 하고싶다.