早些时候,OpenAI正式对外展示了GPT-4多模态模型,展示了它相较此前GPT-3.5强大的性能。
但事实上,从近日放出的信息来看,GPT-4最为强大的并不是它诞生时的能力,而是它能够像人类一样自我反思。
根据研究人员Noah Shinn和Ashwin Gopinath在论文中的表述,他们开发了一种新的技术,能够让AI模拟人类的自我反思,并评估自己的表现。
这使得GPT-4 在完成各种测试的时候,会增加一些额外的步骤,让它能够自己设计测试来检查自己的答案,找出错误和不足之处,然后根据发现来修改自己的解决方案。
团队目前已经使用该技术对GPT-4进行了多种不同的性能测试。
在HumanEval测试中,GPT-4需要解决164个从未见过的Python编程问题,原本准确率为67%,使用反思技术后,准确率提升到了88%。
在 Alfworld测试中,GPT-4则需要在各种不同的交互环境中,通过执行一些允许的操作,来做出决策和解决多步任务;使用反思技术后,AI的准确率从73% 提高到97%,只有4个任务失败。
总体来看,基于这一技术,GPT-4在高难度的测试中能够取得明显进步,提升达到了30%左右。