没想到手机上也可以做实时线段检测现在。速度不比目标检测慢，检测效果非常好：线段是计算机建立视觉认知的基本元素，利用LSD可以快速检测出图像中的直线段，从而根据图像的几何特征设计算法快速确定目标区域。△几种不同线段检测模型的效果以往的线段检测模型虽然也能达到实时性，但往往只能在计算性能较好的GPU上实现。随着机器人用途的多样化，现在即使是移动设备（如手机）和嵌入式设备（机器人）也希望配备线段检测模型，为机器人视觉研究做准备。为了满足这些需求，出现了一种名为M-LSD的移动设备实时线段检测模型。据作者介绍，这是第一个可以在移动设备上运行的线段检测模型，现已开源。单个模块，手机实时预测线段以前，线段检测很复杂，因为需要很多模块来预测图片中的线段。如下图，蓝色部分是之前主流的线段检测模型。这些模型的计算量和类型太大，结构上也是基于大规模模型构建，比如基于ResNet50的FPN网络，残差U-Net……这些模型，往往需要对图像进行多次模变换，最终生成线段预测结果。但是M-LSD决定只用一个模块直接生成center/displacementmap，从而一步预测出图像中的线段，大大减小了模型尺寸。事实上，这个模型确实很小：1-11层是从MobileNet改编的，12-16层是自上而下的结构。没错，总共只有16层，只相当于大线段检测模型体积的2.5%。根据论文，与其他大型模型相比（圆圈的大小表示模型的大小），M-LSD可以将模型的运行速度提高到2.3倍+，而线段检测精度几乎保持不变。从图中可以看出，作者介绍了两个模型，M-LSD和M-LSD-tiny，都可以在安卓和苹果电脑上实时运行。其中M-LSD-tiny可以在手机上实时运行，最快速度为56.8FPS和48.6FPS。没错，现在AI在手机上抚摸家具线的速度比你还快。而且只要是直线物体，它都可以快速提取出轮廓，就像我们快速画草图一样。现在你也可以用手机试试（项目地址见文末）。还有一个在线演示的网络版本。为了方便展示效果，作者还推出了网页版的demo，基于Pythonflask框架开发。打开这个在线demo（传送门见文末）后，你可以在线上传你要检测线段的图片。由于是在网页上运行，而且生成的模型使用了M-LSD，所以检测速度达不到手机端的实时检测效果（手机版M-LSD的检测速度约为12.7~26FPS）.而网页版的M-LSD生成一张线段检测图像只需要2.5秒左右。让我们先尝试上传室内设计的图片。效果确实不错，直线结构的部分都勾勒出来了。但是线段检测的效果会有一些小bug。例如，当图中的直线不够清晰时，一些线段很容易“漂移”。团队介绍，这项研究来自素有“韩国版百度”之称的韩国最大互联网服务公司NAVER，负责搜索引擎业务。第一个是GeonmoGu，他毕业于延世大学电气与电子工程学院，获得学士学位，并在KAIST获得硕士学位。他的研究方向是计算机视觉。合著者ByungSooKo毕业于韩国忠南大学、加拿大纽芬兰纪念大学，KAIST硕士毕业。目前在NAVER担任技术研究工程师。对线段检测感兴趣的朋友可以点击下方地址使用~在线《线段检测》网页Demo：https://gradio.app/g/AK391/mlsd论文地址：https://arxiv.org/abs/2106.00186项目地址：https://github.com/navervision/mlsd
