伴随着深度学习和3D重建技术的发展,近期南洋理工大学的科研人员,提出一种新方法,仅仅只需要3张图片,即可生成高质量的3D场景模型!论文团队来自于南洋理工大学的四名中国留学生,他们目前在NTU的MMLab,此前介绍的文本生成图像Text2light等应用也均出自MMLab,今年ICCV2023上,MMLab团队大获成功共计20篇论文被收录!
SparseNeRF
除了用视频直出3D模型外,南洋理工大学的科研团队,在近日发表了一篇名为《SparseNeRF: Distilling Depth Ranking for Few-shot Novel View Synthesis》的论文,介绍了一种名为SparseNeRF的新方法,即用少量镜头的图片,来合成高精度高质量的3D场景。
在现实世界的场景中,要做到一比一建模是相当困难,像刺客信条对巴黎圣母院的建模,或是黑神话悟空团队对山西古建筑体的建模,都是需要耗费大量时间和金钱的项目,特别是一些稠密的场景,建模起来价格极其昂贵!
而且,这对图片的质量和数量也有极高的要求,在稀疏视图图像下,很难合成高质量的3D模型,对那些没有拍到的新视角,更是难上加难。
NTU提出,利用预训练深度模型或粗略深度图的深度先验,来进行NeRF(神经辐射场)三维重建,作者提出局部深度排序约束(local depth ranking)和空间连续性约束(spatial continuity constraint),以确保合成视图的一致性和连贯性。
SparseNeRF主要由四个部分构成——NeRF、RGB 颜色重建模块、深度排序蒸馏模块和空间连续性蒸馏模块,利用稀疏视图输入合成新颖视图。对于视角缺少的问题,利用来自预训练深度估计模型解决,作者还提出了一种局部深度排序正则化方法,可从粗糙深度图中蒸馏提炼鲁棒性更强的深度先验信息,进一步提高少视角NeRF的性能。
在标准数据集和名为 NVS-RGBD(包含真实世界深度图)的新数据集上的性能均优于现有方法,该论文团队来自于南洋理工大学的四名中国留学生,他们还提供了代码和数据集以供进一步研究。在未来应用方面,可以集成到iPhone上进行场景合成,或者是放在游戏或者工业界那种大规模3D合成的场景。
机器学习基础:
AI学术巨佬——何恺明,从游戏中获得论文灵感
AI领军人物——孙剑,重剑无锋的经典之作
张益唐——黎曼猜想,华人数学家再创重大突破!
B站大学——线代不挂科,MIT传奇教授的最后一课!
机器学习入门——数学基础(积分篇)
机器学习入门——数学基础(代数篇)
机器学习入门——数学基础(贝叶斯篇)
ChatGPT:
聊天机器人——ChatGPT全网爆红,马斯克惊叹夸赞!
聊天机器人——ChatGPT小白注册教程,勿被电商割韭菜!
ChatGPT移动端——使用教程,5分钟注册iOS账号!
ChatGPT王炸官宣——仅需2.7美元,即可输出100万词!
微软——ChatGPT下周史诗升级!百度也同期发布“文心一言”!
英伟达重磅:史上最强AI算力芯片,老黄发布会终极大招!
英伟达重磅:AI读取视频,可直出3D游戏模型!
黄仁勋:给AI圈一点小小的英伟达震撼,11分钟训练ChatGPT!
ChatGPT免费开源平替——200亿参数,前OpenAI团队打造!
ChatGPT王炸升级——可识别图片,考试成绩超九成人类!
ChatGPT史诗升级——1秒生成网站,看图玩梗能力堪比真人!
ChatGPT加强版——60秒生成弹球游戏,零基础也能开发游戏!
ChatGPT王炸升级——解除“封印”,接入互联网!
ChatGPT王炸官宣——正式解除封印,接入互联网开放插件!
ChatGPT重磅升级——新增函数功能,价格大幅下降!
ChatGPT:预计3亿人将失业,斯坦福封神开源GPT平替版!
ChatGPT:亚洲IP大面积被封,意大利停止服务!
ChatGPT突发:暂停关闭付费Plus,只因需求量太大!
ChatGPT突发:法国、西班牙或禁止GPT,只因数据安全问题!
ChatGPT突发:iOS版应用上线,冲到总榜第二!
ChatGPT:仅时隔一天,OpenAI重新开放付费订阅!
ChatGPT手机版:近300万年薪招募团队,GPT5传言被辟谣!
ChatGPT之父:重磅推出世界币,将成为AI时代“身份证”!
ChatGPT之父:奥特曼没有公司股份,因为热爱创造了GPT!
ChatGPT之父:奥特曼将重磅开源GPT-3,只因GPU供应不足!
ChatGPT之父奥特曼:发布世界币,大涨90%估值超两千亿!
ChatGPT:微软联手奥特曼,重磅投资核聚变发电!
ChatGPT:被起诉索赔30亿美元,只因滥用个人数据!
微软神级开源:“傻瓜式”工具,人人可拥有自己的ChatGPT!
微软头显AI助手:重磅推出Otter,能够打麻将、开飞机!
游戏界大变天:斯坦福最新成果,AI角色可模拟真人小镇!
淘汰ChatGPT:智械危机来了,AutoGPT可自动写代码!
人工智能“觉醒”:自主学习,AutoGPT会颠覆ChatGPT吗?
ChatGPT最强挑战者:谷歌Claude,免注册支持中文!
ChatGPT最强竞品:谷歌免费升级克劳德,20秒逆天速通百页论文!
ChatGPT:显卡每日电费500万,谷歌大脑合并阿尔法狗母公司
ChatGPT:玩转《我的世界》,北京大学强化学习攻克复杂任务!
ChatGPT:接入奔驰汽车,文心一言也将上线国内车企!
ChatGPT:成功让AI听懂人话,学会与人类合作!
ChatGPT:7分钟开发一款游戏,成本仅0.3美元!
OpenAI重磅突破:用AI学习AI,开创人工智能新道路!
比尔盖茨来了:盛赞中国的创新能力,捐款5000万美元研发医疗!
人工智能之父、奥特曼严肃警告——AI未来将灭绝人类!
AI速通游戏——两小时超越玩家,阿尔法狗母公司攻克26款游戏!
苹果版GPT:将升级推出Siri大模型,禁止员工使用ChatGPT!
苹果最强头显:售价3499美元,人类进入“空间计算”时代!
ChatGPT:AI女网红交1000+男友周入50万,未来AI会如何发展
论文相关:
毕业季杂谈——如何随时免费使用中国知网?
毕业季杂谈——论文降重的“奇技淫巧”
毕业季杂谈——大学教材如何获取
毕业论文——Latex论文排版语言介绍
ChatGPT:毕业论文降重必备,天才数学家盛赞论文功能!
#免责声明#
①本站部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责。
②若您需要商业运营或用于其他商业活动,请您购买正版授权并合法使用。
③如果本站有侵犯、不妥之处的资源,请联系我们。将会第一时间解决!
④本站部分内容均由互联网收集整理,仅供大家参考、学习,不存在任何商业目的与商业用途。
⑤本站提供的所有资源仅供参考学习使用,版权归原著所有,禁止下载本站资源参与任何商业和非法行为,请于24小时之内删除!