三维世界中反射的光线如何在作为视觉起始处的眼睛视网膜上产生二维图像的过程以上做了讲述。图像的形成过程完全取决于光学规律。因此，l对于给定的任何具有良好光照条件的场景和一个观察点，l我们都能非常精确地判断什么样的图像会产生。现在的问题是：i视觉是如何将视网膜上的图像还原为现实世界的，l即如何将物体的光学图像还原而获取引发这些图像的物体本身的信息。从这一点来看，l视觉最明显的解决办法可能是在图像形成时，l解除了先前的光学转换以逆转图像形成的过程。然而做到这一点并不容易。困难在于环境与它的投射图像之间的数学关系是不对称的。环境到图像的投射是从三维二维的，l采用投射几何学可以明确定义：i即环境中的每一点与图像上的相应的惟一点总是呈对应关系。但从图像到环境的“还原”投射是从二维到三维的，l那么图像上的每一点可以和环境中的无数个点相对应。因此，l逻辑上提示：i我们眼睛视网膜上的每一个二维图像可以由无数多个不同的三维环境所导致。

人类视觉系统在大多数情况下是都非常精确地做到了这一还原过程。那么人类视觉系统是怎样解决这个看起来不可能解决的难题的呢?不同的理论家们各持己见，l其中最占优势的假说是：i三维感知视觉系统是对环境本质及其被看到时所处的情况，l进行的一系列高度仿真的假定。这些假定对“还原”难题给予了足够的限定，l使其在大多数情况下可以被解决。