模型大乱斗，小羊驼团队推出大模型竞技平台Chatbot Arena

源自：PingWest品玩

---

　　品玩6月8日消息，由伯克利大学主导一个团队 LMSYS Org 近日发布了一个针对大语言模型的基准平台 Chatbot Arena。
　　据悉，该平台采用匿名、随机的方式进行对抗评测，评测方式基于国际象棋等竞技游戏中广泛使用的 Elo rating system。排名通过用户投票产生，系统每次会随机选择两个不同的大模型机器人和用户聊天，并让用户在匿名的情况下判定哪款大模型产品的表现更好一些。Elo rating system会根据用户的选择最后判定大模型产品的积分，并以排行榜的形式出现在首页中。
　　目前OpenAI 的ChatGPT-4排名第一，之后是 Anthropic 的claude，同样来自 Anthropic 的 claude Instant 排名第三。

c955-e917a9c0282ba8cd3a109335a6fc5ff9.png  保存到相册

上传时间: 2023-6-9 21:14

文件大小: 71.94 KB

下载次数: 2

点击文件名下载图片

 

　　LMSYS Org 是一个松散的研究组织，由加州大学伯克利分享额学生团队组建，曾推出过大语言模型小羊驼。