OpenAI在今天凌晨終於上線了GPT6Astro模型。在ChatGPT網頁版中,以及在Codex中,我們都可以使用GPT6Astro模型。在OpenAI官方給出的這幾項基準測試中,GPT6的表現都已經完全超越了GPT5.6以及CloudFable5.1模型。
在上期视频中我为大家测试了CloudFibur 5.1模型
由于在录制上期视频的时候我得了严重的流感
所以对CloudFibur 5.1的测试不够深入
今天我们就深入测试GPT6模型
我们将从多个维度尽可能全方位的来测试GPT6模型
它的综合能力
在测试之前我们可以先看一下OpenAI发布的这些基准测试
每一项基准测试分别代表什么意思
第一项它是科学工作流
它是测试模型执行和处理科学研究相关任务
或实验计算流程的能力
这项基准测试的得分几乎是GPT5.6的三倍
而且也领先于Claudefeb 5.1
然后这一项就是商业工作流
它是用于评估模型自然自动化处理日常商业
企业运营还有办公流程方面的表现
第三项就是研究级数学
它用来衡量模型解决高难度
达到前沿学术研究级别的复杂数学问题能力
然后第四项就是计算机终端任务
它是测试模型在计算机终端命令行环境中
自主执行操作
编写脚本
还有完成系统级任务的能力
然后这一项就是临床任务
它是用于评估模型在医疗健康领域处理专业临床数据
医学推理或医生辅助任务的准确性
然后这一项是3D建模
它是衡量模型在CED软件中理解生成
或处理三维空间模型的能力
最后一项就是新型交互式谜题
它是一项著名的推理测试
要求模型解决以前从未见过的逻辑
还有空间图形谜题
它主要用于评估模型能否像人类一样
具备广泛的泛化能力
还有通用人工智能
也就是AGI的潜质
在这些基准测试中
GPT6的表现都遥遥领先于GPT5.6模型
而且也领先于CloudFib5.1模型
好 光看基准测试没有说服力
下面我们就开始进行正式的测试
在chatgbt中
它的推理级别我都选择的是medium
在codex中它的推理级别我也选的是medium
下面我们可以先看一下第一项测试题
第一项测试题就是让它生成一个模拟的黑洞
这里是提示词
由于提示词非常长
这里我们就不再具体去看了
我们直接看它生成的这个黑洞的模型
打开之后我们就看到了这个非常震撼的黑洞的模拟动画
它生成的这个模拟黑洞
比我们上次用CloudFibur 5.1模型
生成的这个模拟黑洞
效果还要好
而且在这里我们还可以调节
这个史瓦西这项参数
在下方我们还可以点击自由飞行
还能点击电影
然后我们还可以切换成
刚才的这种形态
在右侧刚才我们看到的是人马做黑洞
这里我们还可以选择侍女做黑洞
比如说我们选择侍女做黑洞
好可以看到这个黑洞的形态
跟我们刚才看到人马做的
就不太一样
然后我们再看其他黑洞
比如说恒星级黑洞
好 这是恒星级的黑洞
我们还可以选择这个高速旋转
可以看到这又是另一种黑洞的形态
我们还可以选择电影效果
好 这里就切换到了电影的效果
我们再切换到科学观测
好 这是科学观测的效果
我们还可以看到它标记的这一些黑洞的这一些结构
这个效果比我们上次用CloudFibur 5.1完成的效果还要好非常多
好 下面我们再看一下
我在Codex中让它开发的一款iOS背单词的应用
在这里是完整的提示词
由于这个提示词非常长
我们这里就不再具体去看这个提示词了
在推理级别是medium的情况下
它耗时一小时22分钟完成了整个项目的开发
并且在开发的过程中还会自动调用模拟器进行测试
下面我们可以先看一下
它调用模拟器进行自动化测试的效果
它会自动打开模拟器
然后现在它在自动滚动
然后再对这个APP进行自动测试
它在切换标签页
然后还会自动输入这些单词
并且对单词进行搜索
可以看到这个操作的流畅度
已经比我们之前测试其他模型的时候要流畅太多了
好现在他还在对这个APP进行测试
可以看到他会自动点击
自动滚动
然后自动切换不同的标签页
他现在在下拉进行滚动
好这里是选择题
他选择了一个对的
这里又是选择题
然后他就立即选了一个对的选项
好这里又是选择题
他又开始进行选择
现在是听理题
好这里已经测试完成
它的操作速度远比人类的操作速度要快非常多
看完了它运行自动化测试的效果
下面我们就打开它开发好的APP
我们手动测试一下看一下效果
好打开之后
这里是一个类似于使用说明的一个引导
然后我们直接进行测试
到这一步我们就可以选择核心词汇
比如说我们这里选择6G
这里还可以设置背单词的数量
比如说我们这里就选择25个
然后点击开始
然后我们可以滚动看一下这个效果
在下面这里还有每日单词
这里我们就可以点击开始学习
这里就到了单词卡片
比如说我们点击播放发音
然后我们可以翻转卡片
这里就会显示它的中文解释
然后我们就可以点击认识这个单词
然后再点击下一步
当我们学习完之后
这里会显示我们已经学习完
包括认识的还有不认识的
然后我们就可以点击完成
在这里我们甚至还可以进行单词查询
比如说我们随便查询一个
好这样的话我们就查询到了这个中文解释
而且在这里我们还可以点击收藏
这里就成功进行了收藏
在练习这里它给出了多种选项
比如说我们这里就点击听力练习
然后这里可以选择练习的数量
我们就选择10个
然后我们就点击开始练习
好我们就可以进行选择了
这里成功选择正确了
我们就选一个错误的
看一下效果
好这里就会提示错误
这样的话我们就完成了这个练习测试
我们故意选错了一个
然后这里他给出了正确率
还会显示我们刚才选错的这个单词
然后我们点击就可以查看它的解释
然后我们点击这个标签也就可以查看
默认了这些词汇
比如说四级词汇还有六级词汇
然后我们再点击进度
这里我们就可以看到今天的这些进度
这里还会显示我们的成就徽章
然后我们再点击设置来查看一下
在下面这里还可以设置它发音的是美音还是音音
下面我们再看一下另一个测试题
要求它开发一款MacOS原生音乐播放器的App
视觉风格参考Apple Music
但不能使用Apple的logo图标字体
等这些受版权保护的内容
然后Codex它只耗时15分钟
就完成了这个项目的开发
可以看到这款音乐播放器的风格
非常类似于Apple Music
在这里是推荐专辑
我们可以点击进入
然后我们选中一个进行播放
好 这是它合成的音乐
可以看到播放效果还是比较不错的
我们再点击这里就会打开这个迷你播放器
我们再点击下一首
这里还可以进行收藏
我们点击收藏
好 点击之后就会显示这个小红星
我们点击这里还会显示
接下来要播放的这些歌曲
在这里我们还可以隐藏这个侧边栏
像这样看来原生micro s开发
以及刚才我们测试的背单词的原生iOS开发
都已经无法难倒gpt6模型了
好下面我们再继续看这里是让他使用格斗4游戏引擎开发一款3D设计游戏
然后这个游戏背景就是以侏罗际时代作为游戏背景
玩家驾驶坦克在侏罗际时代可以对恐龙进行设计
然后天空中有飞行的翼龙还有UFO飞碟
还有树木石头神秘物体等
然后codex他只耗时19分钟就完成了开发
他完成开发之后
我还让他将恐龙转圈实现成恐龙随机漫步
然后他又耗时两分多钟
就完成了我要求的这个效果
下面我们就在格斗中来打开这个游戏
看一下效果
好运行之后我们就看到了
这是玩家驾驶的坦克
我们可以左右移动
还能看清炮塔
然后我们可以用这个十字来瞄准这一些恐龙
我们进行设计
这里将UFO成功给消灭了
这里还能看到这种神秘物体
我们直接走近
击中神秘物体之后天空就会变色
刚才的测试题我们都指定了技术战
然后这个测试题我没有指定技术战
让Codex自行发挥
这个测试题就是构建一个3D动作冒险游戏
然后主角是一只像小狐狸一样的生物
有着巨大而富有表现力的琥珀色眼睛
以及高高竖起的耳朵
而且它还会带着一盏灯笼
这里是这些操控方式
然后codex它只耗时20分钟就完成了开发
原先之后我们看到了这个像小狐狸一样的生物
它有着尖尖的耳朵还会提着一盏灯笼
然后我们让它进行旋转来踢飞这个箱子
我们可以进行多击跳
继续跳远
可以看到这个效果是非常不错的
甚至具备这种童话般的效果
而且我还使用测试CloudFib 5.1的时候
使用的这个测试题
也就是给它一张室内平面图
让它直接生成立体的可以探索的建筑
可以看到它构建的这个室内的效果
比CloudFib 5.1实现的效果还要好
这里我们还可以切换到二层
然后我们还可以进入进行探索
比如说我们这里点击门厅
这样的话我们就进入到了这个室内
我们就可以移动来进行查看
这里是餐厅
然后我们还可以来旋转进行查看
这里就是客厅
可以看到这里有电视有沙发还有绿植
在这里有个阳台
我们这里就点击阳台
可以看到这个阳台设计的也不错
在阳台上有绿植还有这些桌椅
我们继续移动
然后我们再切换到俯视视角
我们这里进入室房
这里我们就以第一人称视角进入到了书房
这里是一台电脑
电脑桌
然后我们再切换到卧室3
这里我们就进入到了第三个卧室
在这个卧室中
它这个床摆放的好像不太合理
这个床头对着门口
可以看到GPD6
它根据我们提供的平面图
帮我们还原的这个3D的建筑
效果也是比较不错的
我还测试了提供一张
比较具有科幻效果的宇宙飞船的图像
然后让GPT6用前端技术来复刻这个宇宙飞船
打开之后我们就看到了这个飞船
在这里还能看到飞船的尾焰
然后这里是飞船载人的这种舱
然后我们放大还能看清这些细节
可以看到这些结构
看上去还是非常真实的
在这里还能看到飞船的这些天线
我们还可以点击继续放大
在这个位置我们还可以选择飞船内部不同的舱室
好 这是其中一个舱室
然后我们再去探索
这是另一个舱室
然后我们再点击这里
这又是一个舱室
这说明GPT6它的视觉能力也是非常强的
它能直接根据我们的图像来复刻对应的飞船
我还测试了让GPT6来生成水墨动画的效果
这里是完整的提示词
我们可以看一下这个动画内容的分镜
第一个镜头就是落墨
然后一滴墨会落在白色的宣纸上
然后第二幕就是墨色在下方凝成层叠万虫的群山
第三幕就是江河
一条大江从群山缺口处奔涌而出
第四幕是人间
然后江面两岸会显示这些城墙飞檐层层雾瓦
第五幕就是风暴
远处乌云以龙墨翻滚而来
第六幕是云上
白鹤破云而出
画面骤然安静
第七幕就是皈依
银河星辰
所有色彩开始向画面中心汇流
然后我们就运行一下
看一下这个动画的效果
我们点击开始
一滴墨落在了宣纸上
好可以看到这滴墨变成了重重的山巒
可以看到它实现的这些山巒
还是非常像的
还能看到这种隐隐约约的飞鸟
而且还能看到日出
这些扇软还会变化颜色
这些扇软再逐渐消失
这里会显示一条大江
还能听到流水的声音
这里类似于瀑布
这里还会显示江河中的这些鱼
但是这些鱼设计的并不是非常的像
而且游动的方向也不太理想
好 现在就开始显示这些建筑
还有水中的这些船
船上甚至还有人
还会显示远处的这些烟花
这个效果实现的是非常不错的
这里还会显示闪电
然后现在背景声音越来越大
这里是一只白鹤
这只白鹤的效果也算比较不错
现在就到了云上
这只白鹤还在飞动
这里会有太阳
还有月亮
然后山巒再逐渐消失
好
这些元素开始皈依
好
最后变成一点末
这里就会显示山河形
像动画中的一些瑕疵
我们还可以让它继续去修复
继续去完善
这个动画的总体效果是非常非常不错的
好下面我们在Codex中来测试一下
GPD6它的浏览器自动化能力
以及它的CAD建模能力
在浏览器中我打开了TinkerCAD
我说的提示词就是
我在浏览器中已经打开了TinkerCAD
请为我设计一个
你
然後我們就回到瀏覽器,Codex已經接管了瀏覽器,它現在點擊了創建按鈕。它點擊了3D設計。現在就進入了這個工作空間,我們將瀏覽器縮小一些,防止遮擋。可以看到,這裡它點擊了這個導入。
他现在在寻找他刚才创建的文件
他输入了文件的完整路径
他点击了打开
可以看到他成功帮我们创建了这个巨石阵的模型
这个效果还是挺出乎意料的
好可以看到他还会进行实时截图
他又再进行导入
现在他导入下一个文件
他选中了这一个文件
然后进行导入
这里导入成功
现在他开始进行微调
对颜色进行调整
将刚才的地面调整成了绿色
它现在又调整这个颜色
整个操作速度还是非常快的
而且点击的非常准确
好 现在它退出了浏览器接管
我们看一下Codex现在输出的是什么
已经在Tinker CED中完成了英国巨师阵模型
采用艺术化微缩设计
我这里问他
他是如何进行设计的
是本地生成设计文件进行的导入吗
然后他就说是的
他在本地生成STL三维模型
再导入Chrome中的TinkerCAD
所以不需要在网页里逐个拖拽10块进行搭建
通过测试可以发现GPT6完成的这个模型
是非常非常不错的
刚才我们测试的是GPT6
它的浏览器自动化能力
下面我们再测试一下它的Compute Use能力
我输入的任务是
我已经打开了Mac自带的Chess游戏
请不要考虑胜负
以最快的速度下棋
我们直接发送
可以看到现在它开始走期
它开始走第二个期字
现在它走期的速度真的非常快
因为之前我们也测试过让它来下相期
但是之前它下国际相期的时候需要思考非常久
然后现在它走期的速度
几乎达到了不需要思考的水平
Codex甚至还吃掉了对方一个棋子
这里它用是5分12秒
按速度优先完成一局
共20回合
然后棋局已经结束
可以看到这个速度已经是超乎想象
像我们之前在Codex中测试下降期的时候
它会耗时非常久
而现在它完成20回合只用了5分钟
这说明GPT6模型
它的Compute Use能力又有了非常大的提升
好 本期视频就做到这里
欢迎大家点赞 关注和转发
谢谢大家观看