A startup de IA Galileo Technologies classifica o Claude 3.5 Sonnet, o Gemini do Google e o Qwen2-72B-Instruct do Alibaba no topo do índice de alucinação. AI startup Galileo Technologies ranks Claude 3.5 Sonnet, Google's Gemini, and Alibaba's Qwen2-72B-Instruct top in the Hallucination Index benchmark.

A startup de IA Galileo Technologies classificou modelos de linguagem de médio porte e de código aberto em posições altas em um novo teste de referência, o Hallucination Index. AI startup Galileo Technologies has ranked midrange and open-source large language models highly in a new benchmark test, the Hallucination Index. O benchmark, que avalia 22 modelos líderes de IA generativa, mediu sua precisão em três conjuntos de tarefas. The benchmark, which evaluates 22 leading generative AI models, measured their accuracy across three task collections. O Claude 3.5 Sonnet da Anthropic liderou o ranking, enquanto o Gemini 1.5 Flash do Google teve o melhor desempenho em termos de custo. Anthropic's Claude 3.5 Sonnet topped the ranking, while Google's Gemini 1.5 Flash performed best on cost. O Qwen2-72B-Instruct da Alibaba foi o modelo de código aberto com melhor desempenho. Alibaba's Qwen2-72B-Instruct was the top-performing open-source model.