新开发的无镜头相机使用神经网络和变压器以更快地产生更清晰的图像
数码相机通常需要镜头将入射光聚焦在图像传感器上。虽然技术不断改进,允许更紧凑的相机系统,但它们仍然受到物理学的限制。一个镜头只能这么小,镜头和传感器之间的距离也就这么短。这就是“无镜头”相机的用武之地。不受光学设计物理限制的负担,无镜头相机可以小得多。东京工业大学的Masahiro Yamaguchi教授是一篇关于无镜头相机设计新方法的研究论文的合著者,他说:“没有镜头的限制,无镜头相机可以是超微型的,这可以允许超出我们想象的新应用。
无镜头相机本身的想法并不新鲜。我们以前见过它,包括2013年的单像素无镜头相机,以及最近在2017年更小的无镜头相机。无镜头相机由图像传感器和传感器前方的薄掩模组成,用于编码来自给定场景的信息,需要数学重建才能产生详细的图像。虽然带有光学镜头的传统相机使用镜头内的玻璃来实现对焦并立即产生清晰的图像,但无镜头相机则对光进行编码,然后必须将模糊的失焦图像重建为有用的东西。
顾名思义,无镜头相机完全省略了传统的光学镜头。相反,它只包括一个传感器和一个掩模。相机无法将光线聚焦在图像传感器上,因此必须使用编码模式以及有关光如何与掩模和图像传感器相互作用的信息来重建详细的图像。以前的方法已经使用从物理模型派生的算法重建了图像。东京工业大学的研究人员开发的新方法依赖于一种新颖的深度学习系统,从而产生了更好的结果,而不依赖于准确的物理近似。
包括山口教授在内的东京工业大学的一组研究人员创造了一种新的重建技术,该技术有望提高图像质量和显着加快处理速度,这两个问题阻碍了其他一些无镜头相机的发展。
早期的无镜头相机,如贝尔实验室在2013年和加州理工学院在2017年开发的相机,依靠方法来控制照射到图像传感器的光,并对光如何与特定的物理掩模和图像传感器相互作用进行复杂的测量,然后重建图像。如果没有聚焦光线的方法,无镜头相机会捕获模糊的图像,必须使用算法将其重建为更清晰的图像。通过了解光线如何与图像传感器前面的薄掩模相互作用,算法可以解码光信息并重建聚焦场景。但是,解码过程极具挑战性且占用大量资源。除了需要时间之外,生成良好的图像质量还需要完美的物理模型。如果算法基于光如何与掩模和传感器相互作用的不准确近似值,则相机系统将摇摇欲坠。
东京工业大学团队没有使用基于模型的解码方法,而是开发了一种依赖于深度学习的重建方法。使用卷积神经网络(CNN)的现有深度学习方法不足以解决问题。正如 Phys.org 所概述的那样,问题在于“CNN根据相邻的'局部'像素的关系处理图像,而无透镜光学器件通过称为'多路复用'的属性,将场景中的局部信息转换为图像传感器所有像素上的重叠'全局'信息。
在这里,我们可以看到新的无镜头相机。它包括一个图像传感器和一个距离传感器2.5mm的掩模。该面罩是在合成硅板中使用铬沉积制成的。它的孔径尺寸为40×40μm。
这项新研究依赖于一种新颖的机器学习算法。它基于一种名为视觉变压器(ViT)的技术,它有望改善全球推理。正如Phys所写,“该算法的新颖之处在于多级变压器块的结构,这些模块具有重叠的'patchify'模块。这使其能够有效地学习分层表示中的图像特征。因此,所提出的方法可以很好地解决多路复用特性,避免了传统基于CNN的深度学习的局限性,从而实现更好的图像重建。
视觉变压器(ViT)是领先的机器学习技术,由于其多级变压器块的新颖结构与重叠的“修补”模块,因此在全局特征推理方面表现更好。这使其能够有效地学习分层表示中的图像特征,使其能够解决多路复用属性并避免基于CNN的传统深度学习的局限性,从而实现更好的图像重建。
所提出的方法使用神经网络和连接的变压器,有望改善结果。此外,重建误差减少,计算时间更短。该团队认为,该方法可用于实时捕获高质量图像,这是以前的无镜头相机所无法企及的。
免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!
-
“倾城一笑百眉生”是一句形容女性美貌的诗句,其中暗含了生肖解谜的趣味。要通过这句话推导出对应的生肖动物...浏览全文>>
-
“喂饭”与生肖的关联可以通过谐音或象征意义来解读。在中国传统文化中,“喂饭”可以联想到“犬”这个生肖,...浏览全文>>
-
“一人之下,万人之上,将军威权千里雄”这句诗描述了一种威严与权力的象征,结合生肖文化,最贴合的生肖是龙...浏览全文>>
-
这个谜语“月圆入圆家团圆,一六连结来相帮”描述了一个温馨和谐的画面,结合生肖的特点,答案是狗。诗意解读...浏览全文>>
-
“不知所措,心乱如麻。始信劲草胜娇花”这句描述中,“劲草”和“娇花”都具有象征意义。“劲草”坚韧不拔,...浏览全文>>
-
“假情假意”并不是直接与生肖相关联的成语,但它可以被用来形容某些生肖的性格特点或行为表现。以下从诗意的...浏览全文>>
-
按劳分配是中国社会主义初级阶段个人收入分配的基本原则之一,强调根据劳动者提供的劳动数量和质量来决定其所...浏览全文>>
-
“按劳分配”出自社会主义分配原则,意指根据个人付出的劳动量来决定所得报酬。结合生肖数字,“按劳分配”可...浏览全文>>
-
“海阔天空”是一个充满自由与广阔意境的成语,它象征着无拘无束、胸怀宽广的精神状态。结合生肖文化,这一成...浏览全文>>
-
“放虎归山”是一则成语,意思是将老虎放回山林,比喻把坏人或敌人放回去,可能会造成更大的危害。而将其作为...浏览全文>>
- 放虎归山打一动物生肖说的是什么动物,经典解答落实
- 望天而啼,天地清明。九微片片飞花开打一个生肖数字,第一解析落实
- 亡羊补牢打一生肖数字数字,已答解释落实
- 力壓羣雄,谁敢张狂?群雌粥粥尽仰望是什么生肖打一生肖动物精选解释解析落
- 试驾雷克萨斯LX,从预约到试驾的完美旅程
- 奥迪SQ5 Sportback预约试驾,线上+线下操作指南
- 试驾五菱凯捷有哪些途径
- MINI试驾,线上+线下操作指南
- 蒙迪欧试驾预约,4S店体验全攻略
- 大运悦虎试驾预约怎么预约
- AION S试驾,如何在4S店快速预约?
- 广汽传祺传祺向往M8试驾的流程是什么
- 长安欧尚520试驾预约操作指南
- 踏青归来马蹄香,一八追忆二难忘代表什么生肖,精准快答揭晓落实
- 半壁江山打一个正确的生肖,作答解释落实
- 屈指可数指什么生肖,科学答案落实
- 名冠古今世间稀打一个生肖,刚刚全面解释落实
- 未曾得向行人道打一个生肖打一种生肖,完美释义落实
- 阳春白雪打一个生肖,第一析释落实
- 灵蛇鼠洞一湖天是什么生肖打一动物精选最佳资料落实