最近沉浸了一段时间。沉浸并不意味着放弃，而是一种酝酿的过程。那么就分享一下这段时间整理的干货吧。关注我，相信你会有所收获，希望我的努力没有白费。代理如何从理论到实践实现无人驾驶系统。在这里跟大家说一下，分享的内容会由浅入深，做的足够详细，让大家一开始可能会觉得有些枯燥甚至乏味。不过只要大家耐心阅读，相信还是会有一些搜索的。对读者的一点要求。在这里我冒昧地称你们为读者。其实，你们都是我的朋友和老师。虽然这次分享足够简单，足够详细，但是还是会有一定的门槛。需要高等数学和线性代数的基础知识，以便您能够理解本文中提出的公式和概念。不过不用太担心，这只是基础，没必要深入，就是基本的概念你是看不懂的。对自己的一点要求这次我也对自己提出了一点要求，不能只顾自己高。除了继续专注于内容之外，我也会在文章的设计上花一些心思，如何让我的文字读起来有趣，如何让逻辑环环相扣让大家阅读，如何做到晦涩难懂，内容抽象，通俗易懂。这些都是我在后续的文章中逐渐完善和加强的方面。我们会讲哪些技术我们主要关注两种技术，即计算机视觉技术和SLAM技术。无论是深度学习在计算机视觉领域的应用，还是SLAM技术其实都是基于计算机视觉的，所以个人觉得还是有必要先普及一下。计算机视觉基础知识。3D重建是我比较感兴趣的一个方向，所谓3D重建就是基于单张图像或者多张图像重建3D环境。虽然这部分内容很有趣，但是要掌握这部分内容并不容易，因为这部分内容涉及到很多领域的知识。这是从3D世界到2D世界的转换或映射。在转换过程中，深度信息会丢失或以另一种方式表达。完成此映射的是相机。将胶片直接放在针孔相机的物体前面是我们将3D世界直接映射到图像上最简单直观的方式，但这样做的问题也很明显，胶片上的每个点都被物体接受环境多个物体发出射线（信息）。所以胶片上的最终影像是模糊的，很难记录现实世界中物体的信息。那么如何在相机和胶片之间放一个隔板，在隔板中间开一个小孔，这样物体发出的光通过小孔后就不会发散，可以通过减少模糊有小孔的隔板。即物体上的点与图像上的点一一对应，从而得到清晰的图像。这里会用到三角形相似规则，红色标出的成像平面就是像平面，那么像平面到针孔的距离就是f，f就是我们熟悉的焦距。这里的小孔就是孔径，也就是我们通常研究的虚像平面与像平面关于小孔对称。从针孔到被成像物体的距离用z表示。然后根据三角相似规则，可以得到上式。从上式不难看出，当相机（小孔）与物体的距离z固定时，调整焦距f，即成像平面与小孔的距离，可以调整图像大小。相机坐标系是在光学中心建立的3维坐标系，而2维坐标系是在像平面建立的。这里p点是相机坐标系中的一个点，x,y,z表示p点的坐标，pprime表示p点在成像平面中对应的位置，x,yprime表示p点的坐标分别点在成像平面上。让我们考虑y轴在成像平面y主相机坐标系中的对应关系。通过这种关系，空间点可以映射到图像平面上的坐标。通过上图我们可以看出调整光圈大小对成像的影响。上图中的下标值表示图像是在这个尺寸的光圈下拍摄的。我们可能会发现在2mm孔径处成像不清晰，但是在0.35mm处可以清晰的看到字母LUZ。光圈越小，图像越清晰，光圈调大时图像会变得模糊。这是因为光圈调大后，胶片上的一个点对应现实世界中的多个点，造成虚化效果。当光圈缩小时，到达胶片的光线较少，因此当光圈缩小时图像会更暗。为了解决到达成像平面的光线较少的问题，引入了镜头。但是，针孔成像的缺点是由于光线不足，成像平面会比较暗。引入镜头后，被成像物体的多条光线通过镜头后会聚到成像平面上的一点，从而解决了被成像物体光线不足的问题。凸透镜的两个特点是所有平行于光轴的光线都会汇聚到焦点上，焦点到透镜中心点的距离称为焦距。光线通过透镜中心的方向不变。透镜的焦距与透镜的球面半径R和透镜的折射率n有关。公式如下：则镜头到成像面的距离为b，后面才考虑。b无需进一步考虑f和z_0。虽然镜头解决了进光不足的问题，但是镜头成像并不完美，同样的镜头成像也不是完美的，通常都会出现问题。接下来会提到失焦和径向畸变的问题。在第一幅图像中，如果将成像平面放在焦点处，可以获得清晰的小光斑，可以清楚地看到被成像物体。在第二张和第三张图像中，成像平面分别位于焦点的前面或后面，并且是一张模糊的图像，即失焦。径向畸变镜头的第二个问题是径向畸变。图像像素点以畸变中心为中心点，沿径向的位置偏差导致图像形成的图像发生变形。这里分别列出了枕形失真和桶形失真。枕形畸变：又称马鞍形畸变，视场边缘区域的放大倍数远大于光轴中心区域的放大倍数，常用于长焦镜头（上图）。桶形畸变，与枕形畸变相反，视场中光轴中心区域的放大倍数远大于周边区域的放大倍数，常出现在广角镜头和鱼眼镜头中（右上）。在从图像平面到像素平面的相机几何中，如何将像素平面上的点映射到相机坐标，有两点需要注意，第一点是像素和米的单位换算，相机坐标系通常以米为单位，在图像平面中，以像素为单位。第二点坐标点的位置，通常在图像中。偏差通常在图像平面中，我们喜欢以图像的左上角为原点，而在相机坐标系中，以相机的中心为原点，这样相机坐标中心与图像的中心。总和用于表示偏差。在相机点(x,y,z)中。单位换算这里的k和l表示一米有多少个像素点，这两个参数是由相机的感光元件决定的。因为像素点不一定是正方形的，所以k和l值可能不相等。Alpha或Beta可以用来表示fk和fl。可以将公式的表达式简化为如下公式：(u,v)和z不是一个常数，而是一个变量那么我们希望找到从u，v到x，y的线性变换。这里引入齐次坐标的概念。
