Selv med "høj score, men lav evne", havde Grok2 enorme mængder af førstepartsdata af høj kvalitet fra X (Twitter) platformen til at understøtte brugen. I træningen af ​​Grok3 stødte xAI dog naturligt på det "loft", som OpenAI i øjeblikket står over for - manglen på førsteklasses træningsdata afslører hurtigt den marginale nytteværdi af modellens muligheder.

Udviklerne af Grok3 og Musk er sandsynligvis de første til at forstå og identificere disse fakta dybt, hvilket er grunden til, at Musk gentagne gange har nævnt på sociale medier, at den version, brugerne oplever nu, "stadig kun er betaversionen", og at "den fulde version vil blive udgivet i de kommende måneder." Musk har påtaget sig rollen som Grok3s produktchef og foreslår, at brugerne giver feedback på forskellige problemer, de oplever i kommentarfeltet. Han er muligvis den mest fulgte produktchef på Jorden.

Alligevel vakte Grok3's ydeevne inden for en dag utvivlsomt alarm hos dem, der håbede at kunne stole på "massiv beregningskraft" til at træne stærkere store modeller: baseret på offentligt tilgængelige Microsoft-oplysninger har OpenAI's GPT-4 en parameterstørrelse på 1,8 billioner parametre, over ti gange så stor som GPT-3. Rygter antyder, at parameterstørrelsen på GPT-4.5 kan være endnu større.

I takt med at modelparameterstørrelserne stiger voldsomt, stiger træningsomkostningerne også voldsomt. Med Grok3's tilstedeværelse skal konkurrenter som GPT-4.5 og andre, der ønsker at fortsætte med at "brænde penge af" for at opnå bedre modelydelse gennem parameterstørrelse, overveje det loft, der nu tydeligt er i sigte, og overveje, hvordan man kan overvinde det. I dette øjeblik havde Ilya Sutskever, tidligere chefforsker hos OpenAI, tidligere udtalt i december sidste år: "Den fortræning, vi er bekendt med, vil forsvinde", hvilket er dukket op igen i diskussionerne, hvilket har ført til bestræbelser på at finde den rigtige vej til træning af store modeller.