kone
소미소프트
소미소프트

Gemini 3.7 밴치마크

정보
26,630 views · 4 points
1
1
1

간단하게 알려주면 종합 지능 점수는 GPT 5.5와 동일함

5%이상 차이로 이긴 밴치마크를 보여주면

gemini가 진 밴치마크

  • 𝜏³-Banking: 은행 업무를 도구까지 사용해서 제대로 처리하는지 평가.

  • CritPt: 매우 어려운 연구 수준 물리학 문제 해결 능력 평가.

  • IFBench: 복잡하고 세세한 지시사항을 정확히 따르는 능력 평가.

gemini가 이긴 밴치마크

  • AA-Omniscience Non-Hallucination Rate: 모르는 걸 지어내지 않고 정확하게 답하는 능력.

  • AutomationBench-AA: 여러 업무용 프로그램을 조작해 실제 작업을 끝내는 능력.

  • Harvey LAB-AA: 문서 검토·보고서 작성 같은 실제 법률 업무 능력.

  • AA-AnalystAgent: 엑셀·문서를 분석해서 결론을 내는 데이터/비즈니스 분석가 능력

밴치마크를 하지 않은 내용

  • EnterpriseOps-Gym-AA: 이메일·캘린더·HR·고객지원 등 실제 회사 업무를 도구로 처리하는 능력.

  • APEX-Agents-AA: 여러 업무 프로그램을 오가며 길고 복잡한 전문 업무를 끝내는 능력.

  • ITBench-AA: Kubernetes 장애에서 로그·알림 등을 분석해 IT 장애 원인을 찾아내는 능력.

gemini가 플래쉬 모델이라서 복잡한 작업들의 밴치마크는 제외되었는데

  • Terminal-Bench v2.1: 터미널을 직접 사용해 코딩·시스템 작업을 해결하는 능력.

  • SciCode: 과학·연구 문제를 코드로 구현하고 해결하는 능력.

위에 2개의 밴치마크 점수는 GPT 5.5와 비슷하여 아마 우리처럼 간단하게 뭘 하는 사람들은

이제 제미니도 괜찮을 듯?

여담으로 제미니 3.1 pro도 했는데
gemini 3.6부터 스멀스멀 몇 개 이기더니
3.7이 되고 나서는 3.1 pro가 모든 부분에서 이기질 못함

4
8 comments
"저는 텍스트 기반 AI라서 그건 도와드릴 수 없어요"
아니 뭔 소리인가 했는데 오늘 사진 넣었더니 텍스트 기반 AI라서 불가능하다고 하네 ㅋㅋㅋㅋ 구글 AI의 정체성이 사라졌는데?
안티그래비티 쿼타 개박살내놓은 이유가 사골 파인튜닝 할라고였나. 근데 얘들 이제 따라잡은 정도론 심각한게 너무 비쌈
그래서 AI 구독에 5TB 드라이브 인질로 묶었잖아 U+에서 할인도 해서 한달에 만원으로 사용하고 있는데 이 정도면 5TB가 본체고 AI는 떨이 상품이라고 생각해도 됌
그래서 난 노트북lm 쓸려고 구독함
제미나이는 대기업 답게 처음 성능만 좋지 좀 지나면 초코에몽처럼 원가절감 팍팍해서 별로임, 싼맛에 써여할듯
All
Title
Body