LMArena.ai : 생성형 AI 비교 사이트

안녕하세요 씩씩한 개발자입니다🔥

새로운 생성형 AI 가 하루가 멀다하고 빠른 속도로 출시되고 있는데요.
 
OpenAI GPT만 주구장창 쓰다 보니, 아쉬운 점도 생기고, 그에 따라 바라는 점도 자연스레 생기더라구요.
 
그래서 여러 생성형 AI를 비교해 보면 좋겠다는 생각이 들었습니다.
 
생성형 AI 를 비교할 수 있는 사이트가 있어서 소개합니다.
 

LMArena (LMSys Chatbot Arena) 
다양한 대규모 언어 모델(LLM)들의 성능을 사용자들이 직접 비교하고 평가할 수 있는 플랫폼

https://lmarena.ai/   

 

generated by imagen-3.0-generate-002

- 25.3.31기준 94개의 모델을 제공 (아래는 94개 모델 중 일부)

GPT-4o: The flagship model across audio, vision, and text by OpenAI	Gemini: Gemini by Google	Claude 3.5: Claude by Anthropic
Grok-2: Grok-2 by xAI	Nova: Nova by Amazon	Qwen Max: The Frontier Qwen Model by Alibaba
Llama 3.1: Open foundation and chat models by Meta	Mistral: Mistral Large 2	Yi-Large: State-of-the-art model by 01 AI
GLM-4: Next-Gen Foundation Model by Zhipu AI	Jamba 1.5: Jamba by AI21 Labs	Gemma 2: Gemma 2 by Google
Claude: Claude by Anthropic	Nemotron-4 340B: Cutting-edge Open model by Nvidia	Llama 3: Open foundation and chat models by Meta
GPT-3.5: GPT-3.5-Turbo by OpenAI	Reka Core: Frontier Multimodal Language Model by Reka	Reka Flash: Multimodal model by Reka
Command-R-Plus: Command R+ by Cohere	Command R: Command R by Cohere	Mixtral of experts: A Mixture-of-Experts model by Mistral AI

 

1. Arena (Battle)

- 사용자에게 블라인드로 두개의 AI 모델을 제시하고, 사용자는 두 모델에 같은 질문을 던져서 더 나은 것에 투표
 
이미지 생성 성능을 보기 위해 Text2Image를 선택하고, 프롬프팅했어요.

 
둘다 마음에 안들지만 B가 좀더 나은 듯해서 선택해보았는데,  
A는 imagen-3.0이고, B는 recraft-v3모델이네요.
 
이러한 방식으로 모델의 성능을 블라인드 투표할 수 있는 점이 흥미로웠어요!
 

다시 해보았는데, recraft-v3가 생성한 이미지가 더 마음에 들었어요
recraft-v3는 처음 알게된 모델인데 이미지 생성에 뛰어난 성능으로 인정받은 모델이더라구요.
 
블라인드 테스트 신뢰도가 올라갑니다 ㅎㅎ
 
 
 
 

2. Arena (Side-by-Side)

- 사용자가 직접 두 개의 모델을 선택하고, 같은 질문을 던져서 더 나은 것에 투표
 
chatgpt-4o-latest-20250326와 gemini-2.5-pro-exp-03-25 모델에 같은 질문을 던져보았어요.

 
결과만 보았을 때 Gpt가 더 깔끔해 보이긴하는데, 전 Gemini가 내어준 결과가 조금 더 원하는 답변에 가까웠어요.
 
gpt는 각 메뉴의 이름을 메뉴별 제공하는 서비스에 집중하여 메뉴명을 가공해서 정리해 주었는데,
gemini는 메뉴명을 직독직해하여 더 직관적으로 받아들일 수 있겠더라구요. 서비스 설명도 이해하기 쉬웠어요.
 
개인취향의 차이겠죠 ㅎㅎ
 
 
 
 

3. Leaderboard 리더보드

- 수많은 사용자들의 투표 결과를 바탕으로 산정된 모델별 상대 순위를 공개
- 카테고리 별, 언어별 성능 순위 제공
- 비용 분석한 결과를 산점도 차트로 제공함
 
예산을 고려한 모델 선택에 도움이 될 것 같아요.
 
 

비용분석 산점도 차트

 
 
수많은 생성형 AI 모델을 손쉽게 비교해 볼 수 있다는 것 자체로도 매우 흥미로운데,
사용하고자 하는 목적에 맞는 모델을 선택하는데 도움될 것 같아서 굉장히 유용한 사이트인 것 같아요.
 
생성형 AI 어렵다고 생각이 드시는 분들,
쉽고 재미있게 접해보실 수 있는 기회가 될 것 같네요!
 
 
LMArena 바로가기 : https://lmarena.ai/