远见网一、奥特曼给出了一个罕见的评价
1、奥特曼给出了一个罕见的评价
最新访谈中，奥特曼给出了一个罕见的评价：
「他可能是AI历史上最重要、却不太为人所知的研究者。」
这个人就是
Alec Radford
，真·GPT之父。
你可能没听过他，但你大概率用过他发明的东西。
GPT-1、GPT-2、CLIP、Whisper，他都是论文第一作者。
2、这样一个履历几乎横跨大模型每次关键转
此外，他还参与了GPT-3、DALL·E、Scaling Law、GPT-4和GPT-4o等一系列关键工作。
奇怪的是，这样一个履历几乎横跨大模型每次关键转向的人，没有博士学位，也很少接受采访。
ChatGPT红遍全球时，聚光灯下几乎看不到他的身影。
但如果顺着过去十年的AI论文往回翻，会发现一个更奇怪的现象：
OpenAI真正起飞，从招进Alec开始
最新一期《Invest Like The Best》节目中，主持人问奥特曼：
「这家公司一路走来，你最欣赏的幕后功臣是谁？」
奥特曼脱口而出，是
Alec Radford
。
《连线》也同样给过一个分量极重的判断：
那时，他还是个半夜吃菠萝洋葱披萨、和同学一起打Kaggle比赛的毛头小子，在波士顿的宿舍里创办了一家小型AI公司：
Indico
。
但OpenAI让他继续做下去，时任CTO的Greg Brockman回忆：
既然跑不起更大的实验，Alec便把范围缩小，找来大约1亿条亚马逊商品，让模型做一件简单到近乎乏味的事：
二、这次实验第一次给出了Alec想找的答案：《
根据前面的文字，预测下一个字符
。
这个过程中，一个意外出现了。
OpenAI后来把它叫作
「无监督情感神经元」
。
这次实验第一次给出了Alec真正想找的答案：
《Attention Is All You Need》
，横空出世。
「这正是我们一直在等的东西！」
2018年，这条路线有了正式名字：
1、一年后，：GPT-2
发布。
语言之外，他又连续押中图像和语音
DCGAN
。
后来反复出现在Alec研究中的那种直觉，此时已经露出雏形：
只要找到一个足够通用的训练任务，模型可能在完成任务的过程中，自己学出更多能力
。
其实吧，这中间还有个八卦。
几年后，他带着GPT重新回到图像。
三、早在加入OpenAI之前与他最有影响力的作品就是
2020年，OpenAI发布
Image GPT
Alec排在论文作者第二位。
只是逐个生成像素实在太慢。半年后，
1、DALL·E：与DALL·E同一天发布的，还有
CLIP
。
OpenAI拿出从互联网收集的4亿组图文对，让模型只做一道选择题：哪段文字和哪张图片是一对？
图像之外，他也在尝试声音。
2020年的
Jukebox
两年后，同一条路线通向了更实用的
Whisper
。
Alec又排在论文作者第一位。
这些工作表面横跨图像、语言、多模态和语音，背后却源自Alec的同一个判断：
OpenAI最神秘的男人
「这是我过去一年一直在做的事情。」
他先列出CoVe、ELMo和ULMFiT三项启发来源，然后用一句颇为朴素的话介绍成果：
谁能想到，这项工作预告了一个全新的时代？
奥特曼在最新访谈中形容，如果去问那些与Alec共事过的人，他们当然会先说：
四、（连照片都一直用同一张与大佬实在太低调了）
1、One More Thing
不过，这位评价超高的GPT之父，在科研上确实挺不走寻常路的…
但当所有人都期待他做出下一个GPT的时候——
Alec跑去搞了个「老头AI」。
今年4月，他和Nick Levine、David Duvenaud共同推出
Talkie
。
它的预训练语料有一条硬规矩：
1931年1月1日之后出版的英文材料，统统不！准！进！
更不可能知道Python。
它居然真的写出了几段简单代码。
这个实验真正测试的是：一个从未接触现代计算机的语言模型底座，获得少量新示例和后训练后，能以多快的速度吸收一项完全陌生的技能？
啥？你是说当全网都还在猛猛Scaling、想办法让模型读得更多的时候…
GPT之父却反手把它「断网」了近一百年？？
如果模型没见过答案，依然能够现学现用，那它靠的究竟是记忆，还是学习？
也不知道大佬这次，究竟又提前押注了什么…
不过按照他的惯例，等外界终于看懂这道题时，他本人多半已经跑去做下一道了~
参考链接：
[1]https://x.com/InvestLikeBest/status/2086849947119333878?s=20
[2]https://www.wired.com/story/what-openai-really-wants/
[3]https://www.bostonglobe.com/2023/06/10/business/how-couple-olin-college-students-helped-spark-ai-chatbot-revolution/
[4]https://www.newyorker.com/books/under-review/can-sam-altman-be-trusted-with-the-future
