Cressy 作者:Ao Fei Si Qubits | QbitAI公众号《宇宙为你闪烁》《三体》不再是科幻小说。 Nature 最新的显示器 EyeReal 可以将 3D 图像准确地投射到您的眼睛中,无需佩戴眼镜。尺寸与台式显示器差不多,而且价格非常低。在 4090 中添加显示器和游戏机传感器即可开始使用。中国团队的第一个作品是上海人工智能研究院和上海创新研究院联合培养的复旦大学26岁博士生的作品。您无需佩戴眼镜即可用肉眼实现 3DE。 YeReal技术实现了裸眼3D显示解决方案,覆盖视角超过100度。如果您在这个范围内随意移动,您将获得连续且平滑的图像。当您稍微移动 c 时,它不会像过去的旧设备那样反弹或重影。虽然看起来与普通 24 英寸台式显示器的尺寸差不多,不要低估它的尺寸。 3D成像的有效面积达到0.1至0.2平方米,比传统全息技术大1000倍,传统全息技术只能显示指甲盖大小的图像。至于立体效果,我们实现了真正的“全视差”显示,不仅支持左右视差(水平),还支持垂直视差(垂直)和前后视差(径向)。当您站起来或将脸靠近屏幕时,屏幕上的物体会呈现出完全符合物理定律的几何透视变化,就像现实生活中的模型一样。此外,EyeReal还有一个名为“焦点视差”的独特功能,可以模拟人眼的景深效果。简而言之,如果你盯着前景中的物体,背景就会自然模糊,反之亦然。这与眼睛的聚焦运动与胸罩相匹配在距离感知中,解决会引起头晕和恶心的会聚调节冲突(VAC),也称为“3D恶心”,因此即使长时间观看也不会感到疲劳或头晕。在完全不影响图像质量的情况下实现一系列复杂的效果。 1920×1080高清分辨率保持图像清晰度,刷新率超过50Hz。图像极其流畅,完全可以支持实时动态内容。计算光学与人工智能技术的紧密结合 EyeReal本质上是一种将计算光学与人工智能深度结合的新型显示架构,提出了一种称为动态空间带宽积(SBP)利用的新策略。它通过主动控制光场,巧妙地打破了物理学的严格限制。传统裸眼3D技术难以实现大屏幕、广视角的主要原因是受到物理条件的限制。SBP 的瞬间。由于该物理指标的总量有限,因此通常需要在屏幕尺寸和视角之间进行权衡。例如,现有的全息显示技术具有一致且自然的视角,但只能产生非常小的图像(通常只能在厘米级)。典型的网格显示器可以提供更大的屏幕,但视角非常窄,并且图像经常出现被截断的情况。 EyeReal 通过策略 SBP 利用动态解决了这一僵局。这种思路不是试图通过空旷的空间重建光场,而是使用传感器实时锁定观察者眼球的位置,通过精确的计算,将有限的光学信息“收集”并准确地投射到眼睛正在观察的小区域上。为了实现这种精确的投影,系统必须首先解决一个“几何”问题。 EyeReal建立了物理精确的双目几何模型荷兰国际集团系统。将您的眼睛想象为朝向光场中心的两个针孔相机,并计算光场坐标系中眼睛的 6D 位姿矩阵(眼球的位置和方向)。这在光场和视网膜之间创建了精确的对应关系。然而,由于人眼的位置和角度不断变化,直接从原始图像进行计算将需要巨大的计算量。为了解决这个问题,系统引入了一项名为“眼睛几何编码”的关键技术。这一技巧利用了逆透视变换的原理,并根据计算出的眼睛姿势,将原本显示在视网膜上的目标图像投影回屏幕所在的平面。这个过程就像将根据视角随机变化的复杂图像转换为具有标准化到屏幕结构的平坦失真的图像。这种标准化输入允许道nstream 神经网络可以轻松处理位置和视角的变化,而无需每次重新学习几何关系。 EyeReal的硬件配置采用多层面板堆叠结构,其中三层常规TFT-LCD液晶面板平行排列,层间间隙约为3厘米。它的后部采用白色 LED 光源,前后采用交叉偏振器。该系统不包括复杂的光学组件,例如微透镜阵列或空间光调制器。其中央光调制和图像合成完全基于轻量级全卷积神经网络(FCN)控制器。该网络采用类似 U-Net 的架构,包括下采样和上采样模块以及跳跃连接,以确保捕获全局结构,同时在图像处理过程中保留高频细节。 AI模型以几何编码的归一化图像作为输入并执行一个复杂的逆渲染任务来计算三层液晶面板上每个像素应具有的相位值。从物理上讲,这个过程利用火星定律来调制偏振光da。马吕斯定律是解释物理光学中偏振光强度变化的中心定律。光线最终穿过最后一层偏光片时的亮度并不取决于单层屏幕的遮挡,而是严格取决于光线穿过所有层后的累积相位之和。具体来说,最终的光强度与所有层的相位之和的正弦平方成正比。这意味着人工智能能够计算极其复杂的相位组合,使光线在旋转各层后以所需的亮度到达人类视网膜。 Eyereal 具有排列在正交偏振器之间的三层液晶面板。当白光从当背面穿过第一个偏振器时,它变成沿单一振动方向偏振的光。舒缓。目前,液晶面板的每个像素不再只是一个显示颜色的开关,而是一个AI算法控制的,成为一个小的可编程延迟。当光线依次穿过这三层屏幕时,液晶分子就会按照特定的角度旋转光线振动的方向。为了消除重影,保证左右眼看到的图像足够纯净,AI在训练过程中引入了结构化光学损失函数。其中最重要的称为“互斥损失”。该算法对光传播的路径施加限制。从右眼的角度来看,属于左眼的信息必须保持“不可见”,反之亦然。这样,屏幕每一层的相位在物理层面上精确匹配,自动消除串扰,准确合成具有正确深度遮挡关系的 3D 光场。关于作者本文第一作者马伟杰,26岁,博士。复旦大学学生。复旦大学、上海人工智能研究院、上海创新研究院联合特聘博士生。他的研究兴趣包括计算机视觉和图形、虚拟/增强现实以及科学人工智能(光学/物理/医学)。他的导师是上海人工智能实验室的欧阳万里和钟汉森。欧阳万里也是香港中文大学教授,钟汉森是上海创新研究院教授。他们也是本文的通讯作者。此外,北航赵章瑞和浙江大学博士生赵灿宇也参与了文章的撰写。文章地址:https://www.nature.com/articles/s41586-025-09752-y
特别提示:以上内容(包括图片、视频,如有)由自有媒体平台“网易账号”用户上传发布。本平台仅提供信息存储服务。
注:以上内容(包括图片和视频,如有)由网易号用户创建,网易号是一个仅提供信息存储服务的社交媒体平台。它由 上传并发布。