以下内容来自小六的机器人SLAM学习圈知识星球每日更新内容
点击领取学习资料 → 机器人SLAM学习资料大礼包
#论文# #开源代码# TextSLAM: Visual SLAM with Semantic Planar Text Features
论文地址：
https://arxiv.org/pdf/2305.10029.pdf
作者单位：上海交通大学开源代码：
https://github.com/SJTU-ViSYS/TextSLAM
我们提出了一种新的视觉SLAM方法，通过充分探索文本对象的几何和语义先验，将文本对象紧密地视为语义特征。文本对象被建模为纹理丰富的平面补丁，其语义含义是动态提取和更新的，以便更好地进行数据关联。随着对文本对象的局部平面特征和语义含义的全面探索，即使在图像模糊、大视点变化和显着光照变化（白天和夜间）等具有挑战性的条件下，SLAM 系统也变得更加准确和稳健。我们使用地面实况数据在各种场景中测试了我们的方法。结果表明，集成纹理特征可以得到一个更优越的SLAM系统，可以在白天和晚上匹配图像。重建的语义 3D 文本图可用于机器人和混合现实应用程序中的导航和场景理解。 具体来说，我们通过充分利用场景文本的有利特征，将文本特征集成到 SLAM 中。在几何上，文本特征被视为纹理丰富的平面块，用于相机姿态估计和后端优化，以产生更准确和更稳健的估计。从语义上讲，这些场景文本的含义，不受外观变化的影响，用于在大光照或视点变化的情况下跨场景的可靠位置识别和特征匹配。由于缺乏具有丰富文本的 SLAM 基准，我们收集了室内和室外的文本定向数据集，并进行评估。我们将我们的 SLAM 系统与最先进的方法进行了比较。 结果表明，通过与文本对象紧耦合，SLAM系统变得更加准确和健壮，即使在严重的光照变化(白天和夜间)、视点变化和遮挡等具有挑战性的条件下也能很好地工作，现有的SLAM系统通常失败。我们还将我们的基于文本的方法与最先进的视觉定位方法进行了比较，用于闭环。结果表明，我们的基于文本的方法在计算成本低得多的文本丰富的环境中优于这些方法。
本文贡献如下：
1）一种新颖的视觉 SLAM 框架，它将文本特征集成到前端姿势跟踪、后端优化、闭环和映射中。据我们所知，这是第一个将场景文本紧密集成到视觉SLAM中的工作。我们还在各种文本丰富的环境中贡献了一个数据集进行评估。
2）我们展示了文本特征的几何和语义表示，以及它们在 SLAM 中的数据关联模型。
3)一种新的回环检测技术，依赖于文本特征的语义。在语义信息的帮助下，即使在具有挑战性的场景中也可以实现可靠的闭环，包括严重的光照变化、遮挡和剧烈变化的视点。
以上内容来自小六的机器人SLAM学习圈知识星球每日更新内容