그록 4.6의 high와 xhigh의 차이

https://kone.gg/s/somisoft/cM8UYtUUYmSQzXX4CWdQab

전글에서는 그록의 aritificial 평가의 high만 보여드렸는데

이번에는 xhigh의 평가도 비교하려고 합니다.

artificial에서는

1

그록 4.6의 high를 기준으로 점수를 맥였습니다.

근데 그록의 xhigh가 없어서 조사를 해보니

커서에서 만든 커서밴치가 있어서 그걸 가지고 와봤습니다.

요기서 커서 밴치란

위에 항목을 기준으로 점수를 측정합니다.

완전히 코딩에 관한 능력 평가인데 일단 이것만 보자면

1

%가 정답에 얼마나 가까웠는 지를 보여주는 것이고

xhigh가 스텝 46만을 사용하여 정답률 70.8%로 최상위 모델 중 1위이며

high는 69.9%로 다른 최상위 모델과 0.1~0.6%로 거의 오차 범위 밖에 차이가 안납니다.

여담으로

high는 스텝 39, 정답률 69.9%, 비용 $2.34만을 사용하여

저희같은 일반인 측면에서는 high가 최고의 선택이 아닐까 싶네요.

추가사항

스탭에 대한 추가 정보를 전달하면

“에이전트가 얼마나 코드에 손을 대었는가”

이 밴치마크는 에이전트가 스스로 판단하고 충분하다고 생각하면 과제를 그만하고

과제에 대한 평가를 사람이 하는 것인데

“점수가 낮은데 스텝이 높은 모델”은 정답을 찾기까지 헤매다가 틀린 채로 끝냈다는 것입니다.