GPT-6 Astra bị yếu đi sau khi ra mắt: Có phải là sự thoái lui?

GPT-6 Astra bị giảm hiệu suất sau khi ra mắt là cảm nhận được báo cáo bởi người dùng và người thử nghiệm, những người nói rằng mô hình có vẻ như đã giảm trí thông minh so với hiệu suất khi ra mắt, với những so sánh trực tiếp trong thử nghiệm cho thấy đầu ra kém hơn. Một số người thử nghiệm nhận thấy các câu trả lời nhanh hơn nhưng phản hồi kém chất lượng và nghi ngờ giá trị ‘juice’ bị giảm. Một tuần sau khi ra mắt, GPT-6 Astra đã tái tạo lại từng con phố của Manhattan trong một trình chơi game.

Nhiều người dùng và người thử nghiệm báo cáo rằng GPT-6 Astra có vẻ hoạt động kém hơn so với khi ra mắt, mô tả mô hình như kém thông minh hơn nhiều trong những so sánh trực tiếp. Người thử nghiệm báo cáo rằng trong khi một số câu trả lời được tạo ra nhanh hơn ở phiên bản hiện tại so với khi ra mắt, đánh giá định tính về các đầu ra đó lại kém hơn. Một số người thử nghiệm bày tỏ nghi ngờ rằng ‘giá trị juice’ của mô hình—một thuật ngữ viết tắt cho lượng công sức tính toán mà mô hình dành để suy nghĩ trước khi trả lời—đã bị giảm.

Trong các so sánh lời nhắc có kiểm soát, Salio và Md Ismail Sojal đã chạy cùng một lời nhắc trên một phiên bản Astra vào ngày ra mắt và trên một phiên bản sau đó và ghi lại kết quả kém hơn trên phiên bản sau đó. Các báo cáo của người dùng và quan sát của người thử nghiệm tập trung vào chất lượng đầu ra so sánh và thời gian phản hồi mà không chỉ định những thay đổi bên trong.

Các báo cáo và so sánh thử nghiệm đã công bố tóm tắt những nhận thức và phép đo này từ người dùng và người thử nghiệm. Chúng không bao gồm các cơ chế chi tiết hoặc các quy kết xác định cho sự thay đổi trong hiệu suất. Các tuyên bố được mô tả ở đây xuất phát từ báo cáo của người dùng và so sánh của người thử nghiệm.

Pranjal Paliwal, người đã xem xét mã cho GPT-6 Astra, đã chỉ ra rằng trạng thái hiện tại của mô hình cho thấy “Chúng ta không có AGI. Chúng ta có một sự thoái lui.” AGI là viết tắt của trí thông minh nhân tạo tổng quát, nhằm thực hiện bất kỳ nhiệm vụ trí tuệ nào mà con người có thể làm. Sự ra mắt của GPT-6 Astra có sự tham chiếu của chủ tịch OpenAI đến thuật ngữ AGI, nhấn mạnh những khát vọng cho mô hình. Những tuyên bố này ghi lại một số ý kiến chuyên gia về khả năng hiện tại của Astra so với những hứa hẹn ban đầu tại buổi ra mắt.

Bài viết đề cập đến các báo cáo rằng người dùng và những người thử nghiệm nhận thấy GPT-6 Astra đã suy giảm hiệu suất kể từ khi ra mắt, mô tả mô hình này trở nên ngu dốt hơn nhiều trong các so sánh trực tiếp.

Các quan sát viên báo cáo thời gian phản hồi nhanh hơn ở phiên bản sau nhưng đánh giá chất lượng đầu ra kém hơn và đã dấy lên nghi ngờ rằng “giá trị nước trái cây” của mô hình – một cách viết tắt cho nỗ lực tính toán mà mô hình dành để suy nghĩ trước khi trả lời – đã bị giảm; Salio và Md Ismail Sojal đã thử nghiệm các câu hỏi giống nhau trên phiên bản ra mắt và các phiên bản sau và ghi nhận kết quả kém hơn trên phiên bản sau.

Các bài viết cũng bao gồm kết luận từ lần xem xét mã của Pranjal Paliwal rằng sự phát hành này là một sự thoái lui hơn là AGI, và lưu ý rằng chủ tịch OpenAI đã sử dụng thuật ngữ AGI trong buổi ra mắt của Astra.