Os pesquisadores da Apple descobriram que os LLMs dependem mais da correspondência de padrões do que do raciocínio lógico, lutando com perguntas complexas. Apple researchers find LLMs rely more on pattern-matching than logical reasoning, struggling with complex questions.

Pesquisadores da Apple levantaram preocupações sobre as habilidades de raciocínio matemático de grandes modelos de linguagem (LLMs), descobrindo que suas respostas variam significativamente com base em pequenas mudanças de entrada. Apple researchers have raised concerns about the mathematical reasoning abilities of large language models (LLMs), finding that their responses vary significantly based on slight input changes. Isso sugere que os LLMs dependem mais da correspondência probabilística de padrões do que do raciocínio lógico verdadeiro. This suggests LLMs rely more on probabilistic pattern-matching than true logical reasoning. Para avaliar melhor essas capacidades, eles introduziram o benchmark GSM-Symbolic, revelando que os LLMs lutam com questões complexas, destacando suas limitações no raciocínio confiável. To better assess these capabilities, they introduced the GSM-Symbolic benchmark, revealing that LLMs struggle with complex questions, highlighting their limitations in reliable reasoning.

October 11, 2024

8 Artigos