2023年4月13日，微软宣布开源DeepSpeed-Chat，集成了完整RLHF流程的系统框架，可将训练速度提升15倍以上，帮助用户轻松训练自己的ChatGPT，只需1.25小时，就可完成训练一个130亿参数大模型，扩展性可玩性极强，实现千亿级GPT大模型自由！
微软开源
然而，由于OpenAI并未开源GPT-3.5-turbo以及GPT-4版本，对于用户和其他公司来说，也很难“复刻”出接近GPT-4效果的类GPT产品。
当地北美时间4月12日，微软宣布开源DeepSpeed-Chat，只要在模型训练中加入了完整RLHF流程的系统框架DeepSpeed Chat，即可让开发者用户人手一个GPT大模型，实现ChatGPT自由！DeepSpeed-Chat
OpenAI一度被戏称为ClosedAI，对比此前斯坦福等大学开源大模型LLaMa羊驼，DeepSpeed Chat的RLHF pipeline完全是复现了GPT的初始论文——InstructGPT，效果更好！
DeepSpeed Chat
在微软开源的DeepSpeed Chat中，开发者可以快速进行多个训练步骤，支持使用不同来源的数据进行快速训练，将推理和训练能力整合成完整的混合引擎（DeepSpeed-HE），用于RLHF训练。
目前，DeepSpeed速度比原本的快15倍，成本大幅度降低，2.1天可以训练出一个OPT-66B模型，成本仅为1620美金，如果扩大到ChatGPT的参数级别，DeepSpeed支持多节点多GPU，扩展性极佳。
比如微软测试经过DeepSpeed-Chat训练后，一个13亿参数版的ChatGPT，在问答环节的推理能力和上下文能力都非常突出。
github/microsoft/DeepSpeed
只需要48GB显存的消费级NVIDIA A6000 GPU，训练上半天时间，即可通过一个预训练后的OPT-13B作为actor模型，OPT-350M作为reward模型，来生成一个130亿参数的类ChatGPT模型，目前的玩法还有很多，微软欢迎各位开发者测试！
机器学习基础：
AI学术巨佬——何恺明，从游戏中获得论文灵感
AI领军人物——孙剑，重剑无锋的经典之作
张益唐——黎曼猜想，华人数学家再创重大突破！
机器学习入门——数学基础（积分篇）
机器学习入门——数学基础（代数篇）
机器学习入门——数学基础（贝叶斯篇）
游戏&AI系列：
赛博朋克——敏捷开发能挽救CDPR的口碑吗？
巫师三——AI如何帮助老游戏画质重获新生
AI女装换脸——FaceAPP应用和原理
AI捏脸技术——你想在游戏中捏谁的脸？
Epic虚幻引擎——“元人类生成器”游戏开发（附教程）
脑机接口——特斯拉、米哈游的“魔幻未来技术”
白话科普——Bitcoin到底是如何诞生的？
永劫无间——肌肉金轮，AI如何帮助玩家捏脸？
GTA6黑客——R星自导自演营销？无稽之谈！
ChatGPT：
聊天机器人——ChatGPT全网爆红，马斯克惊叹夸赞！
聊天机器人——ChatGPT小白注册教程，勿被电商割韭菜！
ChatGPT王炸官宣——仅需2.7美元，即可输出100万词！
火爆全网——AI生成的漂亮小姐姐，形象逼近真人！
微软——ChatGPT下周史诗升级！百度也同期发布“文心一言”！
ChatGPT免费开源平替——200亿参数，前OpenAI团队打造！
ChatGPT王炸升级——可识别图片，考试成绩超九成人类！
ChatGPT史诗升级——1秒生成网站，看图玩梗能力堪比真人！
ChatGPT加强版——60秒生成弹球游戏，零基础也能开发游戏！
ChatGPT王炸升级——解除“封印”，接入互联网！
ChatGPT：预计3亿人将失业，斯坦福封神开源GPT平替版！
ChatGPT：亚洲IP大面积被封，意大利停止服务！
ChatGPT突发：暂停关闭付费Plus，只因需求量太大！
ChatGPT：仅时隔一天，OpenAI重新开放付费订阅！
青年文学论坛——GPT-4来临，翻译会被AI取代吗？
百度文心一言：全球大厂首发，可帮助续写《三体》！
百度文心一言：中国版ChatGPT，短视频批量生成！
百度文心一言：超8万家企业排队合作！
百度文心千帆：比ChatGPT便宜，百万字仅12元！
国产ChatGPT：支持手机芯片推理，马云谈用GPT解决实际问题！
华为版ChatGPT：重磅出炉！盘古大模型将在4月发布！
华为重磅自研：盘古NLP大模型，不打算追随ChatGPT！
中国最强ChatGPT：语言大模型“商量”，演示性能超文心一言！
ChatGPT清明节：上海云生命公司“复原”逝者，数字生命丫丫！
360自研GPT：周鸿祎长文反驳马斯克，自称“拯救派”望弯道超车！
360版ChatGPT：实机演示“翻车”，答错梅西进球数！
阿里版ChatGPT：发布“通义千问”大模型，可在支付宝测试体验！
百度打假苹果：文心一言惨遭套皮，现已对苹果发起诉讼！
稚晖君：赛博国风轮足机器人“哪吒”，未来或集成GPT大模型！
论文相关：
毕业季杂谈——如何随时免费使用中国知网？
毕业季杂谈——论文降重的“奇技淫巧”
毕业季杂谈——大学教材如何获取
毕业论文——Latex论文排版语言介绍
ChatGPT：毕业论文降重必备，天才数学家盛赞论文功能！
#免责声明#
①本站部分内容转载自其它媒体，但并不代表本站赞同其观点和对其真实性负责。
②若您需要商业运营或用于其他商业活动，请您购买正版授权并合法使用。
③如果本站有侵犯、不妥之处的资源，请联系我们。将会第一时间解决！
④本站部分内容均由互联网收集整理，仅供大家参考、学习，不存在任何商业目的与商业用途。
⑤本站提供的所有资源仅供参考学习使用，版权归原著所有，禁止下载本站资源参与任何商业和非法行为，请于24小时之内删除!
