"Gemini 3 Pro’s Hallucination Rate in the evaluation is 88%, the same as Gemini 2.5 Pro and Gemini 2.5 Flash. This suggests Gemini 3 Pro made substantial gains in knowledge but not as material gains in its tendency to hallucinate."
Was the model rushed or did they place all their chips on scaling go brrrr!!
Gemini 3 Pro just took the #1 spot in our new AA-Omniscience Index — but it is a nuanced story
AA-Omniscience is our new knowledge and hallucination eval. Gemini 3 Pro’s leadership is driven by its high Accuracy (percentage correct); the model scored a massive 14 points higher than the next highest accuracy model, Grok 4. Gemini 3 Pro’s Hallucination Rate in the evaluation is 88%, the same as Gemini 2.5 Pro and Gemini 2.5 Flash. This suggests Gemini 3 Pro made substantial gains in knowledge but not as material gains in its tendency to hallucinate.
We measure Hallucination Rate based on how often the model answers incorrectly when it should have refused, defined as the proportion of wrong answers out of all non-correct attempts. In AA-Omniscience, we found there was little correlation between Accuracy and Hallucination Rate.
Additionally, we found there is a high correlation between the size of open weights models and Accuracy (but not Hallucination Rate). As such, Gemini 3 Pro’s very high Accuracy suggests it is a very large model.
See below for further details regarding AA-Omniscience 👇
99,52 tis.
205
Obsah na této stránce poskytují třetí strany. Není-li uvedeno jinak, společnost OKX není autorem těchto informací a nenárokuje si u těchto materiálů žádná autorská práva. Obsah je poskytován pouze pro informativní účely a nevyjadřuje názory společnosti OKX. Nejedná se o doporučení jakéhokoli druhu a nemělo by být považováno za investiční poradenství ani nabádání k nákupu nebo prodeji digitálních aktiv. Tam, kde se k poskytování souhrnů a dalších informací používá generativní AI, může být vygenerovaný obsah nepřesný nebo nekonzistentní. Další podrobnosti a informace naleznete v připojeném článku. Společnost OKX neodpovídá za obsah, jehož hostitelem jsou externí weby. Držená digitální aktiva, včetně stablecoinů a tokenů NFT, zahrnují vysokou míru rizika a mohou značně kolísat. Měli byste pečlivě zvážit, zde je pro vás obchodování s digitálními aktivy nebo jejich držení vhodné z hlediska vaší finanční situace.