Llm 모델들을 쓰면서 느낀 점

1. Gemma 4 계열

애는 프롬프트 이행율이 좋아서 대부분은 안정적으로 잘 작동 한다. 이점은 장점이다.

단점은 신음 소리에 무한루프가 걸리면서 지랄을 한다. 또 이상한 포인트에서 무한 루프가 걸린다.

2. QWEN 계열

애들은 무한루프가 걸릴일은 없다. 꽤 괜찮게 번역을 하는데

단점으로는 최소 27B 파라미터 계열 또는 32B계열을 추천 한다. 이유는 7B, 14B 계열 모델들은 한자를 중간에 계속 던지는 문제가 있어서 번역을 한 의미가 없다. 심지어 27B 무검열 버전에서도 한자가 나와서 32B모델이 그나마 안정적으로 나오는데 문제는 9070XT에 32RAM을 써도 오프로딩으로 초당 1.3토큰 씩 나오는 문제가 있다.

3. EXAONE 계열

국산 LLM 모델이라고 해서 썼는데 더 별로다 QWEN계열의 문제가 생기고 심지어 32B계열에서도 한자가 나오고 번역 형식 유지도 못한다.

결론 : QWEN 계열이 그마나 안정적으로 번역을 하는데 문제가 없지만 그 퀘적하게 할거면 VRAM 24GB이상 스펙으로 해야 한다