GPT-6 Astraは発売後に機能が制限されているという印象が、モデルが発売時のパフォーマンスに比べて知性が低下しているように見えると述べるユーザーやテスターによって報告されています。直接的な比較においては、テスト結果が悪化していることが示されています。一部のテスターは、回答が速くなったが質は低下したと観察し、ジュース価値が減少したのではないかと疑いました。発売から1週間後、GPT-6 Astraはゲームエンジン内でマンハッタンを通りごとに再建していました。
複数のユーザーやテスターが報告したところによると、GPT-6 Astraは発売時よりも現在の方がパフォーマンスが悪いとされており、直接的な比較ではモデルがかなり鈍くなったと説明されています。テスターは、現在のバージョンではある応答が発売時よりも早く生成される一方、出力の質に関する評価は悪化していると報告しました。いくつかのテスターは、モデルの「ジュース価値」—応答する前にモデルが考えるためにかける計算努力の量を示す略語—が減少したのではないかと疑念を表明しました。
制御されたプロンプトの比較において、SalioとMd Ismail SojalはAstraの発売日インスタンスと後のバージョンで同じプロンプトを実行し、後のバージョンでの結果が悪くなったことを記録しました。これらのユーザーレポートとテスター観察は、内部の変更を特定することなく、比較出力の質と応答のタイミングに焦点を当てています。
発表されたレポートとテスト比較は、ユーザーやテスターによるこれらの認識と測定を要約しています。パフォーマンスの変化に対する詳細なメカニズムや確定的な帰属を含んでいません。ここで述べられている声明は、ユーザーの報告やテスターの比較に由来しています。
「ジュースバリュー」という用語は、モデルが回答する前に考えるために使う計算努力の量を指す略語として使用されます。これは公式の用語ではなく、正式に定義されたものではありません。テスターや観察者は、この略語を使って、GPT-6 Astraの性能について、初日モデルと後のバージョンとの比較において議論してきました。その報告には、OpenAIがローンチデモの後にモデルの「ジュースバリュー」を低下させたという具体的な疑念が含まれており、これは一部の人々によって、計算努力の静かな減少として表現されています。
GPT-6 Astraのコードをレビューしたプランジャル・パリワルは、モデルの現状が「私たちはAGIを持っていない。私たちは後退している。」と示しているとコメントしました。AGIは人工汎用知能を指し、人間が行えるあらゆる知的タスクを実行することを目指しています。GPT-6 Astraの発表では、OpenAIの社長がAGIという用語に言及し、モデルに対する期待を強調しました。これらの発言は、発表時の初期の約束と比較して、Astraの現在の能力に対する専門家の意見を捉えています。
記事では、ユーザーやテスターがGPT-6 Astraの性能がローンチ以降低下したと認識しているという報告が取り扱われており、モデルが直接的な比較において著しく劣っていると説明されています。
観察者は後のバージョンで応答時間が速くなったと報告しましたが、出力の質は悪いと評価し、モデルの「ジュースバリュー」—回答する前にモデルが考えるために使う計算努力の略語—が削減されたという疑念を抱きました。サリオとMd・イスマイル・ソジャルは、初日バージョンと後のバージョンで同じプロンプトをテストし、後のバージョンで悪い結果を記録しました。
報道には、プランジャル・パリワルのコードレビュー結論として、リリースがAGIではなく後退を示していること、また、OpenAIの社長がAstraの発表でAGIという用語を使用したことが含まれていました。
