OpenAI创始人的故事——谁创造了ChatGPT?

2月14日,OpenAI公司迎来地震级消息,公司创始人、AI资深大牛Andrej Karpathy,宣布离职创业,作为全世界最受关注的科技公司和焦点人物,Karpathy的再次离职引发了各种各样的争议,许多人阴谋论认为Karpathy也是逼宫奥特曼的始作俑者,还有人说Karpathy是马斯克派到OpenAI当间谍的,但Karpathy也有另外一幅面孔,他是AI技术的代表人物,也是全世界最著名的GPT科普学者、CS231n的主讲人,用最简单的话语,带大家了解如何“手搓GPT”。

OpenAI创始人的故事——谁创造了ChatGPT?

在多大期间,Karpathy第一次接触到了深度学习相关工作,当时AI图灵奖三巨头之一的Geoff Hinton开设了一门深度学习课程,和全世界的学生一样,MNIST成为Karpathy入坑的第一课。2009年,Karpathy进入英属哥伦比亚大学,开始主攻机器学习方向。

OpenAI创始人的故事——谁创造了ChatGPT?

当时深度学习还并未成为“显学”,主流的AI仍然在讲深度优先搜索、广度优先搜索、Alpha-Beta剪枝这些技术,Karpathy并不满意这些,但是看到机器学习后,他深刻体会到这才是他想研究的人工智能,这才是真正有趣的东西。

OpenAI创始人的故事——谁创造了ChatGPT?

研究生期间,Karpathy导师为计算机科学系教授Michiel van de Panne,主要研究机器学习如何应用于敏捷机器人的物理模拟;2011年,Karpathy加入斯坦福大学,当时导师李飞飞组建研究团队来搭建ImageNet数据库,并对图像进行分类,工作量极大。

OpenAI创始人的故事——谁创造了ChatGPT?

Karpathy花费大量时间对图像进行注释和分类,比如ImageNet有大量狗狗的图片,Karpathy每天待在实验室,反复将机器学习算法与其他算法进行对比,每年李飞飞都会举办ImageNet大规模视觉识别挑战赛 (ILSVRC) ,在2012年的时候,AlexNet横空出世,彻底开启了深度学习时代。

OpenAI创始人的故事——谁创造了ChatGPT?

ImageNet和ILSVRC也成为AI领域的里程碑时间,我们毫不夸张地说,Karpathy凭借学术生涯早期的项目ImageNet,就已经成为AI领域绕不开的人物;然而这一时期Karpathy更加出色的是公开课,他毫无保留地将斯坦福大学CS231n课程公开给全世界的研究者,极大地推动了深度学习的发展,这也让人想起另一位华人大佬吴恩达Andrew Ng……

OpenAI创始人的故事——谁创造了ChatGPT?


2. Deepmind

Karpathy在Stanford读博期间,还参与了三段实习,2011年,谷歌大脑刚刚成立,Karpathy加入谷歌大脑,当时谷歌大脑内部使用了一套深度学习神经网络的训练推理框架,研发团队主要由Geoffery Hinton领导,实现了大家所熟知的反向传播BP算法,四年后谷歌大脑将这套框架公开——TensorFlow!

OpenAI创始人的故事——谁创造了ChatGPT?

在PyTorch崛起前,TF还是绝对的王者,由于当时谷歌大脑还是婴幼儿阶段,Karpathy当时对很多领域都感兴趣,特别是无监督学习(Unsupervised learning),第二段是Karpathy在13年进入谷歌研究院实习,主要研究油管视频的大规模监督学习,当时Karpathy在Quora上也非常活跃,常年给大量机器学习研究领域的学者们答疑,空闲时间,Karpathy用JS开发了很多深度学习库,例如ConvNetJS、RecurrentJS、REINFORCEjs和t-sneJS等,

OpenAI创始人的故事——谁创造了ChatGPT?

15年,Karpathy再次回到谷歌,则是直接进入了Deepmind实习,监督学习/无监督学习过后,Karpathy开始对Sutton的强化学习(Reinforcement Learning)感兴趣,第二年,Deepmind的AlphaGo就以4-1击败李世石,成为AI领域公众最为熟知的里程碑事件,第三年在乌镇再横扫八冠王柯洁。

OpenAI创始人的故事——谁创造了ChatGPT?

Karpathy在Deepmind主要方向为深度强化学习(Deep Reinforcement Learning),整个夏天,Karpathy一直在看David Silver的课程,就在AlphaGo大杀四方的同时,Karpathy与公众分享AI玩Atar游戏、击败围棋世界冠军、模拟动物学习奔跑跳跃等应用背后的原理,业余时间Karpathy还在维护arxiv-sanity,整理了接近10万篇arXiv上与机器学习相关的论文。

OpenAI创始人的故事——谁创造了ChatGPT?


3. OpenAI

2015年,Karpathy从斯坦福毕业,同时离开了Deepmind,选择创业加入了马斯克领投的OpenAI公司!当时的OpenAI应该来说并不起眼,当提起OpenAI时,大家会想起这是马斯克倡导发起建立的“非营利机构”,或者是Ilya Sutskever、Andrej Karpathy们创立的科技公司。

OpenAI创始人的故事——谁创造了ChatGPT?

回到15年,Y Combinator总裁山姆·奥特曼(Sam Altman)、支付公司Stripe的CTO格雷格·布罗克曼(Greg Brockman),以及谷歌人工智能研究科学家伊尔亚·苏茨克维(Ilya Sutskever)、特斯拉创始人马斯克一起(四人刚好是宫斗大戏主角和看官),以“研究造福全人类的人工智能”为愿景,创立了一家非营利性人工智能研究公司,不求任何财务回报,创始人们认为AI应该是人类个人意志、自由精神的延伸。

OpenAI创始人的故事——谁创造了ChatGPT?

在过去,像AlphaGo、深蓝等击败人类的智能算法,都是为解决某些任务而制造,每当人类以为自己掌握了AI的钥匙时,会发现这些解决方案并没有人们希望的那么通用,深度学习经过了数十年的探索终于成为主流,开始在各种问题领域取得最先进的成果,OpenAI希望能够创造更加通用的算法,例如图像识别、机器翻译、语音识别等领域。

OpenAI创始人的故事——谁创造了ChatGPT?

多位大佬的学生加入了OpenAI,包括本文主角李飞飞学生Andrej Karpathy,AI三巨头Lecun的学生Wojciech Zaremba,吴恩达的得意门生Pieter Abbeel、Pieter Abbeel的学生约翰·舒尔曼(John Schulman)等;此外Bengio和学生Ian Goodfellow等也作为OpenAI的顾问,当时两大负责人则是山姆·奥特曼,以及大金主伊隆·马斯克。

OpenAI创始人的故事——谁创造了ChatGPT?

有了充足的资金和专业的科研人员,再加上非常简单高效的组织结构,Karpathy在OpenAI充满了技术热情,马斯克非常欣赏Karpathy,评价是Karpathy在ImageNet时让计算机有了视觉能力,在Deepmind时期,通过生成模型给了计算机想象力,通过深度强化学习给予计算机浏览互联网能力,马斯克对Karpathy评价相当高。

OpenAI创始人的故事——谁创造了ChatGPT?


4. Tesla→回归OpenAI

这也不难解释,为何Karpathy在17年离开OpenAI,被马斯克带到特斯拉,Karpathy成为特斯拉AI部门的主管,负责Autopilot,拥有直接向马斯克汇报的权力,特斯拉也成功推出FSD;在2023年2月份,Karpathy回归OpenAI,制作的“从零开始手搓GPT”、“一小时弄懂大模型”等视频,很快成为全球最火的GPT科普视频,这也是OpenAI首次有人公开给工作做科普。

OpenAI创始人的故事——谁创造了ChatGPT?

马斯克当时对于Karpathy的离开,是非常罕见地给予了祝福,马斯克表示,“谢谢你为特斯拉所做的一切,和Karpathy在一起工作是我的荣幸!”就这样,Karpathy以OpenAI元老的身份,重回这个全世界最受关注的公司,山姆·奥特曼看起来也希望借用Karpathy在社区的影响力。

OpenAI创始人的故事——谁创造了ChatGPT?

去年底,OpenAI曝出惊天宫斗大戏,Sutskever宣布山姆·奥特曼和格雷格·布罗克曼被光速解雇,就在员工们选边站的同时,Karpathy置身事外没有选择站队,而是发了一个辐射警告的标志,再加上Karpathy本人沉迷技术的特点,也被认为是少有的中立派。但是在OpenAI生态大会上,Karpathy这位知名大牛却没有被分到任何主题演讲,要知道他可是第一个以OpenAI官方身份与公众分享ChatGPT训练思路的人。

OpenAI创始人的故事——谁创造了ChatGPT?

2月14日,Karpathy宣布二次从OpenAI离职,在他十多年的职业生涯中,一直积极为开源社区做贡献,创建了多个有关构建深度神经网络的课程,在自媒体时代,也成为最棒的GPT科普视频制作者,Karpathy的二次离职也让外界对OpenAI近期的动作表示质疑,山姆·奥特曼表示将投资7万亿美元主攻AI芯片领域,如今的AI时代商业为赢,所有人都在追逐各种各样的新概念,而像Karpathy这样的“老实人”也选择离开OpenAI,在离职声明中,Karpathy表示自己将专注于个人项目继续创业。

OpenAI创始人的故事——谁创造了ChatGPT?

机器学习基础:

AI学术巨佬——何恺明,从游戏中获得论文灵感

AI领军人物——孙剑,重剑无锋的经典之作

AI传奇巨佬——汤晓鸥,中国人工智能领袖人物!

张益唐——黎曼猜想,华人数学家再创重大突破!

B站大学——线代不挂科,MIT传奇教授的最后一课!

机器学习——科学家周志华,成为中国首位AI顶会掌门人!

机器学习入门——数学基础(积分篇

机器学习入门——数学基础(代数篇

机器学习入门——数学基础(贝叶斯篇

游戏&AI系列:

赛博朋克——敏捷开发能挽救CDPR的口碑吗?

巫师三——AI如何帮助老游戏画质重获新生

AI女装换脸——FaceAPP应用和原理

AI捏脸技术——你想在游戏中捏谁的脸?

Epic虚幻引擎——“元人类生成器”游戏开发(附教程)

脑机接口——特斯拉、米哈游的“魔幻未来技术”

白话科普——Bitcoin到底是如何诞生的?

永劫无间——肌肉金轮,AI如何帮助玩家捏脸?

GTA6黑客——R星自导自演营销?无稽之谈!

Adobe之父——发明PDF格式,助乔布斯封神

中国数学家——历史首位!鄂维南获应数麦克斯韦奖!

人类Y染色体——首次破译成功,将有助于男性健康!

全世界最小光谱仪——浙大学者失败150次后成功!

AI图灵奖三巨头——入选23年ACM Fellow!

#gd的ai&游戏杂谈#

#免责声明#

①本站部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责。

②若您需要商业运营或用于其他商业活动,请您购买正版授权并合法使用。

③如果本站有侵犯、不妥之处的资源,请联系我们。将会第一时间解决!

④本站部分内容均由互联网收集整理,仅供大家参考、学习,不存在任何商业目的与商业用途。

⑤本站提供的所有资源仅供参考学习使用,版权归原著所有,禁止下载本站资源参与任何商业和非法行为,请于24小时之内删除!

给TA打赏
共{{data.count}}人
人已打赏
生活杂谈

我流随笔|便秘时期的爱情

2024-2-15 0:00:00

生活杂谈

上映6天!又一部影片宣布退出春节档

2024-2-17 0:00:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索