近日，OpenAI推出了新的文生视频模型Sora，一下子碾压了Pika和Runaway等初创公司，许多创业者认为越“大”越好！但是大模型也有很多具体的应用环境，不需要那么高的算力资源，华为近期推出新论文，主要聚焦于“小”模型的落地上来，深耕工业领域的应用，也能够覆盖很大的工业范围，同时，在华为发布会上，余承东也宣布纯血鸿蒙将搭载盘古大模型！
华为思路也很明确，希望能够打造一个真正能够解决工业难题的大模型，而不是一个简单的聊天机器人，针对种种挑战，华为盘古提出了1B参数的小语言模型，利用华为在工业领域拥有多年的积累，设计微型语言模型。
首先为了让小模型也能具备大模型的性能，华为对Tokenizer分词器进行压缩裁剪，大模型往往使用了大量词表覆盖各种语料库，但对于小模型来说，Tokenizer会占用大量参数影响模型性能，华为团队表示Tokenizer存在长尾效应，低频词占比高，但贡献率低，提出了一种基于词频的Tokenizer裁剪方法，例如对1B的参数级别，裁剪后可以将大小降低30%以上，PanGu-π-7B的词汇量仅为10万。
大模型凭借着强大的泛化能力，在各种NLP任务中取得了卓越的成绩，然而中小企业和研究机构很难负担训练大模型所需要大量的计算资源和数据，华为团队表示模型架构的宽度、深度和扩展率对性能有很大影响，其中更深的模型可以学习更复杂的语义关系，更大的宽度可以提高模型的训练和推理速度，对于小模型来说深度最重要，宽度和扩展率对模型性能的影响相对较小。
参数继承也能有效提升小模型的性能，华为团队分析不同层对模型效果的影响，结果表明，越靠近模型两端的层对模型效果的影响越大，删除一些中间层对模型效果影响较小，从而减少训练小模型所需的计算资源和数据，让中小企业和研究机构也能享受到大模型带来的红利。
华为盘古PanGu-π模型，还通过增强模型非线性来提升性能和效率，PanGu-π-1B与同级别规模的模型相比，推理速度提升约10%，而且准确度优于同规模的模型，华为选择“小模型”这条路也是非常有前景的方向，过去一年中，华为积极推动AI工业化升级，将盘古大模型率先应用于工业领域，在煤矿、水泥、电力、金融、农业等传统行业推动AI+工业发展。
华为盘古矿山大模型，帮助矿山企业实现智能采掘、安全生产、精益管理，华为盘古铁路TFDS大模型，进行智能铁路车辆故障图像智能识别，助力铁路行业提升运输效率、安全运营、故障预测，华为盘古气象大模型，提高气象预报的准确性和及时性，为气象防灾减灾提供支撑。
华为昇腾计算产品线总裁许映童表示，华为盘古的发布，将促进AI大模型生态的构建。华为盘古将提供开放合作的平台，这将吸引更多企业和开发者参与到AI大模型的开发和应用中来！
通俗一点来说，华为聚焦工业领域打造小而美的AI大模型的策略，训练数据来自于工业领域，更贴合实际应用场景，能够更好地解决工业生产中的难题，华为盘古大模型的参数量更小，因此部署和使用成本更低，更易于推广应用，中小企业往往缺乏足够的资金和技术实力来部署和使用大型AI模型。
华为盘古大模型采用了模块化的设计，可以根据不同行业和应用场景的需求进行定制和扩展，这使得华为盘古大模型能够应用于更广泛的工业领域，总体而言，华为小模型的思路确实让人眼前一亮，策略非常明智，能够帮助华为在工业AI落地领域取得领先地位，而且能够推动工业智能化升级。
华为纯血鸿蒙：搭载盘古大模型，全线自研投资超百亿！
华为回归：上半年营收3100亿，净利润暴涨3倍！
华为问界：搭载十大黑科技，问界M9来了！
华为和小米：达成专利交叉许可，包含5G技术！
小米发布会：小米14起售3999元，小米14Pro起售4999元！
三星发布会：全新AI，安卓机皇5999元起售！
华为“纯血鸿蒙”：1.2亿行代码，生态设备超8亿！
黄仁勋：给AI圈一点小小的英伟达震撼，11分钟训练ChatGPT！
英伟达重磅：史上最强AI算力芯片，老黄发布会终极大招！
英伟达重磅：AI读取视频，可直出3D游戏模型！
CES科技春晚：英伟达、AMD、英特尔三大厂商汇总！
CES科技春晚：索尼、三星等十大黑科技亮相！
CES 2023：英伟达发布4070Ti，ROG全系40系笔记本配置！
CES 2023：索尼汽车官宣亮相，打造元宇宙进军太空！
英伟达GTC22：40系显卡参数解读，你打算购买哪一款？
英伟达GTC22：40系显卡价格过高，老黄剑指元宇宙AI！
英伟达GTC23：核弹级AI芯片，专供ChatGPT速度提升30倍！
CES 2021：AMD6000系处理器发布，轻薄本畅玩3A！
CES 2021：英特尔12代处理器发布，最快的游戏CPU！
CES 2021：英特尔游戏性能怪兽，RTX 3090Ti发布！
CES 2021：英特尔首款ARM架构CPU，超x86架构十倍性能
天价NFT：从290万美金到280块，一年缩水99.99%！
以太坊升级：30系显卡滞销，价格会崩到什么程度？
亲儿子跳车：“北美七彩虹”怒刚NV，老黄吃相有多难看？
30系破发：比特币暴跌，矿场巨亏要“爆金币”了吗？
#免责声明#
①本站部分内容转载自其它媒体，但并不代表本站赞同其观点和对其真实性负责。
②若您需要商业运营或用于其他商业活动，请您购买正版授权并合法使用。
③如果本站有侵犯、不妥之处的资源，请联系我们。将会第一时间解决！
④本站部分内容均由互联网收集整理，仅供大家参考、学习，不存在任何商业目的与商业用途。
⑤本站提供的所有资源仅供参考学习使用，版权归原著所有，禁止下载本站资源参与任何商业和非法行为，请于24小时之内删除!
