空间重构将 iPhone 照片转化为空间记忆 空间重构可让 iPhone 用户在拍照后改变视角,使普通图像更接近可编辑的空间记忆。

空间重构改变了人们熟悉的摄影规则:当快门关闭时,相机位置不再完全固定。苹果的新照片功能让用户触摸并拖动图像来改变其外观视角,给人留下原始照片是从稍微不同的位置拍摄的印象。

裁剪始终允许摄影师选择图像的较小部分。拉直可以修复倾斜的地平线。透视控制可以纠正因相机角度而扭曲的线条。空间重构进一步解释场景并仅生成新视点所需的附加视觉信息。

该功能不会将一张 iPhone 照片转变为完整的三维环境。它确实表明了苹果日常摄影的地点。照片不再像平面的、永久的记录,而更像是可以在拍摄后重新访问、重新定位和调整的空间记忆。

空间重构超越裁剪

传统的重新取景仅适用于照片内已有的像素。将作物移向一侧会去除相对边缘的材料。放大可以增强强调效果,但会牺牲部分原始帧并可能降低分辨率。

空间重构的用途苹果情报了解场景内的关系。当用户拖动图像时,该功能会预览如果相机占据附近位置,视角将如何变化。

然后,图像模型仅在移动的视点产生缺失区域的情况下生成内容。苹果表示,这种选择性方法有助于使编辑后的结果与原始时刻保持一致,而不是重建整个图片。

这种区别赋予了该工具有限的用途。稍微偏向一侧拍摄的肖像可能会获得更平衡的构图。被尴尬的前景角度遮挡的地标可能会变得更容易取景。一张家庭照片可以有更多的喘息空间,而不需要完全人工的替换场景。

该功能不仅仅是放大画布。苹果还提供了用于扩展图像边缘的“扩展”和用于消除较大干扰的改进的“清理”工具。空间重构具体是关于视点和构图。

图片来源:苹果公司

Apple Vision Pro 知识传至 iPhone

苹果表示,空间重构建立在该公司对以下方面的理解之上:空间模型通过 Apple Vision Pro 开发。这种联系比在 iPhone 功能上贴上另一个与 Vision Pro 相关的标签更重要。

Vision Pro 必须了解表面、物体和人相对于观察者的位置。当数字内容出现在物理空间中时,它需要保持令人信服的视角。这些功能需要模型能够解释深度和几何形状,而不是将每个图像视为像素的平面排列。

空间重构将部分知识应用于普通照片。 iPhone 不需要重建摄影师周围的整个空间。它需要足够的空间理解来估计从附近的角度来看可见元素将如何变化。

这是苹果在空间计算方面的投资可以吸引更多受众的一种方式。大多数用户可能永远不会拥有 Vision Pro,但为耳机开发的技术可以改善 iPhone 和 iPad 上的相机处理、图像编辑和视觉智能。

该功能还揭示了空间计算更实用的一面。它不仅限于浮动窗口或沉浸式娱乐。空间模型可以帮助用户修复他们已经关心的照片的构图。

从照片到可编辑的记忆

照片在拍摄后总是会发生变化。早在数字编辑出现之前,暗室技术就已经调整了曝光和取景。后来,智能手机摄影让几乎每个人都可以进行色彩校正、人像模糊和物体去除。

空间重构引入了一种不同的灵活性,因为它改变了图像的捕获位置。

这会让一张普通的照片感觉不那么最终。快速捕捉到孩子表情的家长也许能够在以后改善周围的构图。无法站在理想位置的旅行者可能会恢复更自然的视野。一张间距尴尬的合影可能会获得更好的平衡,而不会抹掉那些让这一时刻变得有价值的人。

将这些图像称为空间记忆并不意味着每张照片都成为 Vision Pro 的空间照片。它描述了与个人摄影之间不断变化的关系。该图像保留了人工智能可以在可见矩形之外解释的场景信息。

未来的照片功能可以使用相同的理解来创建更自然的运动、交替取景或相关图像之间的过渡。该库成为场景的来源,而不是固定表面的集合。

图片来源:苹果公司

真实性变得更加复杂

改变视角的能力也提出了一个熟悉的问题:改进照片何时会改变所发生的事情?

裁剪已经可以将人物从场景中移除。 Clean Up 可以擦除对象。扩展可以生成从未位于原始框架内的环境。空间重构可以呈现摄影师从未实际占据过的视角。

Apple 正在解决该问题的一部分,方法是自动将隐藏的 SynthID 水印添加到使用苹果情报。水印旨在识别人工智能的参与,而不在照片上放置可见标签。

这可以支持技术验证,但并不能解决有关真实性的所有问题。家庭照片不需要新闻图片的证据标准。即使生成了一些像素,较小的构图修复也可以保留瞬间的情感真相。

新闻、法律证据、保险文件和历史记录需要更严格的处理。在这些设置中使用的图像应保留原始图像并公开材料编辑,特别是当视角变化可以改变物体或人之间的感知关系时。

苹果的选择性生成方法可能会减少不必要的修改,但该工具仍然具有生成性。生成的图像是对移动视点可能显示的内容的解释。

最好的编辑可能是最不引人注目的

当用户没有立即注意到它被使用时,空间重构将是最有说服力的。稍微改进的角度、更好的视觉平衡或前景与主体之间更清晰的关系可以增强照片的效果,而不会使其感觉合成。

极端的变化更有可能暴露错误。模型可能需要发明太多信息,导致对象、纹理或建筑细节变得不一致。苹果当前的测试版本说明已经承认应用该功能后可能会出现颜色变化和视觉伪影。

这使得适度变得有用。该工具应该帮助挽救构图,而不是鼓励用户围绕仅从一个相机位置捕获的场景自由旋转。

一个小的调整也尊重原始照片。这个人仍然选择时机、主题和大方向。空间重构成为一种整理工具,而不是摄影的替代品。

当处理消失时,苹果经常使计算摄影变得最有效。夜间模式、智能 HDR 和人像分割在图像背后起作用,而不是要求用户考虑模型。空间重构更加明显,因为用户可以控制它,但最好的结果可能遵循相同的理念。

在照片中使用空间重构

空间重构出现在使用最新 Apple Intelligence 软件的兼容设备上的照片编辑体验中。用户可以打开照片,进入编辑模式并选择重构控件,然后拖动图像以预览不同的视角。

要使用空间重构:

照片 > 选择照片 > 编辑 > 空间重构 > 触摸并拖动以调整视角 > 完成

可用性取决于 Apple Intelligence 支持、设备兼容性、语言和安装的操作系统版本。由于该功能使用生成图像模型,因此处理行为也可能根据场景而有所不同。

当照片具有文献价值时,用户应保留原始版本。照片通常允许恢复编辑,但导出或复制未修改的副本可以在进行大量更改之前提供额外的保证。

图片来源:苹果公司

照片库的新方向

空间重构为苹果提供了一项将多年的相机和空间计算工作联系起来的功能。 iPhone 提供照片。苹果情报诠释场景。空间模型估计另一种观点。照片将这个过程变成了一种手势,而不是专业的编辑工作流程。

该功能最初可能用于修复普通的构图错误,这正是它变得重要的原因。当技术解决了小问题而不需要用户了解其背后的机制时,它们通常会吸引大量受众。

苹果正在逐步教会照片库理解深度、物体、关系以及原始框架之外可能的空间。这可以使编辑变得更加宽容,但它也改变了照片所代表的含义。

一个iPhone图片曾经是从一个精确位置捕捉到的视图。通过空间重构,它成为可以移动的记忆的起始位置。