倾斜45度 苹果构建Vision Pro沉浸空间视频的独特算法
互联网
4 月 16 日消息，迈克・斯旺森上周末发布博文，深度剖析了 iPhone 的“拍摄空间视频”能力，表示采用了和传统鱼眼镜头不同的算法方式。
目前拍摄空间视频能力仅限于运行 iOS 17.2 或更高版本的 iPhone 15 Pro 和 iPhone 15 Pro Max 机型，用户录制的空间视频可以在苹果 Vision Pro 头显上以三维形式重温回忆。
iPhone 15 Pro 和 iPhone 15 Pro Max 上拍摄的空间视频为 1080p / 30 fps 的 SDR 格式。一分钟空间视频的大小约为 130 MB(一分钟 1080p / 30 fps 普通视频的大小约为 65 MB)。
而想要让 2D 视频转换成为半球形或球形投影图，在沉浸式体验方面存在诸多挑战，其中最常规的方式就是 180 度鱼眼镜头。
常规方法就是以特定方式分割视频，可以将其拉伸到适合用户 180 度视野的水平和垂直虚拟球体中。但这种方式会导致部分边角部分并未实际使用，数据效率不高。
还有一种消除黑色部分的替代方法，即 180 度等角投影。通过编辑创建，它可以扭曲图像以填充整个矩形框架。但这种方式也有一个问题，就是很难在每个 180 度视角中保留细节。
苹果使用了一种特殊的构建算法，以 45 度旋转的方式对鱼眼内容进行编码，也就是视野直径位于对角线上，不仅可以更显更多的像素，而且也提高了数据使用率。
对观众来说，这样做的好处是视野“地平线”的像素最多。由于大多数人在观看视频时都会注视地平线，因此保留这一部分的细节对观看体验至关重要。
