GPT-6 Astra ajusté après son lancement est la perception rapportée par les utilisateurs et les testeurs qui disent que le modèle semble avoir diminué en intelligence par rapport à ses performances au lancement, avec des comparaisons directes lors des tests montrant des résultats moins bons. Certains testeurs ont observé des réponses plus rapides mais de moindre qualité et soupçonné une réduction de la valeur de performance. Une semaine après le lancement, GPT-6 Astra reconstruisait Manhattan rue par rue dans un moteur de jeu.
De nombreux utilisateurs et testeurs ont rapporté que GPT-6 Astra semble fonctionner moins bien maintenant qu’au lancement, décrivant le modèle comme significativement plus faible dans les comparaisons directes. Les testeurs ont signalé que bien que certaines réponses soient produites plus rapidement dans la version actuelle que lors du lancement, l’évaluation qualitative de ces sorties est moins bonne. Plusieurs testeurs ont exprimé le soupçon que la « valeur de performance » du modèle – un terme abrégé pour la quantité d’effort de calcul que le modèle dépense à réfléchir avant de répondre – avait été réduite.
Dans des comparaisons de requêtes contrôlées, Salio et Md Ismail Sojal ont exécuté les mêmes requêtes sur une instance d’Astra du jour du lancement et sur une version ultérieure, et ont enregistré de moins bons résultats sur la version ultérieure. Ces rapports d’utilisateurs et observations de testeurs se sont concentrés sur la qualité de la sortie comparative et le temps de réponse sans spécifier de changements internes.
Les rapports publiés et les comparaisons de tests résument ces perceptions et mesures par les utilisateurs et les testeurs. Ils n’incluent pas de mécanismes détaillés ni d’attributions définitives pour le changement de performance. Les déclarations décrites ici proviennent de rapports d’utilisateurs et de comparaisons de testeurs.
Le terme « valeur ajoutée » est utilisé comme une abréviation pour décrire la quantité d’effort de calcul que le modèle dépense à réfléchir avant de répondre. Ce n’est pas un terme officiel et n’a pas été formellement défini. Les testeurs et observateurs ont utilisé cette abréviation lorsqu’ils discutaient des performances de GPT-6 Astra dans les comparaisons entre le modèle du jour du lancement et les versions ultérieures. Ces rapports incluent la suspicion spécifique qu’OpenAI a réduit la valeur ajoutée du modèle après les démonstrations de lancement, exprimée par certains comme une réduction silencieuse de cet effort de calcul.
Pranjal Paliwal, qui a examiné le code de GPT-6 Astra, a commenté que l’état actuel du modèle indique “Nous n’avons pas d’IA générale. Nous avons une régression.” L’IA générale désigne une intelligence artificielle capable d’effectuer n’importe quelle tâche intellectuelle qu’un humain peut réaliser. Le lancement de GPT-6 Astra a vu le président d’OpenAI faire référence au terme IA générale, soulignant les aspirations pour le modèle. Ces déclarations reflètent certains avis d’experts sur les capacités actuelles d’Astra par rapport à ses promesses initiales au lancement.
L’article a couvert des rapports selon lesquels les utilisateurs et testeurs perçoivent que GPT-6 Astra a décliné en performance depuis son lancement, décrivant le modèle comme significativement moins intelligent dans des comparaisons directes.
Les observateurs ont rapporté des temps de réponse plus rapides sur la version ultérieure, mais ont évalué la qualité de la sortie comme étant inférieure et ont soulevé la suspicion que la “valeur ajoutée” du modèle – abréviation de l’effort de calcul que le modèle dépense à réfléchir avant de répondre – avait été réduite ; Salio et Md Ismail Sojal ont testé des invites identiques sur les versions du jour de lancement et ultérieures et ont enregistré de moins bons résultats sur la version ultérieure.
La couverture a également inclus la conclusion de l’examen du code de Pranjal Paliwal selon laquelle la publication constitue une régression plutôt qu’une IA générale, et a noté que le président d’OpenAI a utilisé le terme IA générale lors du lancement d’Astra.
