在当今医疗领域，微创手术因其创伤小、恢复快等优势，逐渐成为许多疾病治疗的*方式。然而，微创手术也面临着一些挑战，其中就是如何从小创口全面获取病灶信息。普通内窥镜由于视场角较小，成像范围有限，往往容易遗漏病变部位。
为了解决这一问题，全景内窥成像技术应运而生，为微创手术带来了新的视野和机遇。
浙江大学霍嘉燚团队发表文章，从原理和产品应用两个方面对全景内窥成像技术进行了梳理。首先综述了基于二维和三维成像的各种全景内窥成像技术，阐述了它们各自的实现方式，并分析了其关键指标和性能。其次，对比分析了由全景内窥成像技术衍生出来的胶囊内窥镜、全景结直肠镜等多种不同类型的产品，并展望了全景内窥成像技术的发展趋势和应用前景。
二维全景内窥成像技术
无拼接算法的多摄显示技术对于计算的需求较低，但对镜体的机械设计水平要求较高，需要在较小的体积下集成多个摄像头，对镜头的设计和加工技术等方面提出了更高的要求。同时，由于是多个摄像头采集到的图像同时显示，因此对数据的存储和通讯也有较高要求。对于胶囊内窥镜而言，多个摄像头同时工作引起的功耗提升也需要设计人员去解决。
2.全景镜头技术
自由曲面棱镜的设计方法已经日趋成熟，在传统成像光学系统中，自由曲面能够进一步实现系统的小型化，从而可以放入体积狭小的内窥镜中。
2015年，Katkam等人设计了一种紧凑的双视角内窥镜，该内窥镜基于自由曲面棱镜实现了前向90°和后向45°的成像。该设计中仅使用了一个自由曲面棱镜来组合前视图和后视图，为确保两个FOV都具有良好的性能，对表面进行了特殊设计以降低像差。
全景环形透镜
全景环形透镜（PAL）是一种紧凑的光学结构，具有大视场和小畸变的特点，能够提供全景视图和清晰的成像质量。
2016年，Liu等人设计了基于全景环形透镜和自由曲面棱镜的内窥镜系统，该设计能够实现全景成像，同时可获得局部高分辨率图像，充分利用了传统全景环形透镜系统图像表面的盲区像素，解决了宽视场和高分辨率之间的矛盾。其PAL子系统的FOV达（60°-97.5°）×360°，高分辨率系统实现了0.008mm的物方分辨率。
折反射成像系统
折反射成像系统是一种使用较少镜片即可实现广角成像的技术，可以通过锥形镜、抛物面镜、凹凸镜片折叠等方式实现，成像方式简单、易于加工、成本较低，具有广泛的应用潜力。
2015年，Sahli设计的系统可以实现侧视图360°成像；2016年，Dallaire等人通过设计凹凸镜头折叠的方式实现折反射，视场角可以达到180°；2017年，Tseng等人设计的全景内窥系统使用抛物面镜作为反射镜，用于实现侧视图的360°全景成像，后续加入了一个中继镜头，接收由凹面镜反射回来的侧向光，图像失真更少。
仿生光学系统
研究人员从昆虫的复眼获得灵感，提出了兼具均匀性和高分辨率的成像能力的全景内窥成像系统。
2016年，Tseng等人根据昆虫的复眼结构提出了一种具有大视场的灵活胶囊内窥镜，使用31个球透镜覆盖175°的观察区域，应用光纤阵列来拟合曲线图像平面，以改善场曲像差并将图像传送到图像传感器中，该胶囊内窥镜可以通过基于球透镜设计的复合透镜捕获175°的可视区域。2017年，Cogal等人受昆虫复眼启发，提出了一种小型化高清视觉系统，采用分布式照明方法，可覆盖180°×180°的视场，能以120MHz的处理时钟频率生成具有1080pixel×1080pixel分辨率的25
多系统组合
该方法将不同的广角技术组合起来，充分发挥各项技术的长处，弥补不同技术存在的缺陷，从而实现良好的畸变和体积控制。2019年，Chen等人设计的紧凑双视场内窥镜物镜视场角达±80°，畸变控制在了10%以内，提高了边缘视场的成像质量，结构更加紧凑，易于安装。
三维内窥成像技术
三维全景内窥技术通过三维拼接能够获得更全面的信息，目前根据采用的方法不同，可分为深度相机与单目相机两大类。
1.深度相机
内窥镜中深度相机的实现方式
主动形式：
ToF相机：ToF相机向目标连续发射光脉冲，传感器不断接收由物体反射回来的信号，通过计算光脉冲的飞行时间得到各个像素对应点与相机的距离。2009年，Penne等首次将其应用到内窥镜系统中，完成了大量体外实验，实现了3072个三维点的20
结构光系统：结构光系统使用投影仪将特定信息投射至目标物体表面，再由摄像头采集图像，通过对图像上结构光的特征信息进行解码，得到目标物体表面的三维信息。根据结构光的编码方式，可以将其分为顺序投影模式结构光、连续变化投影模式结构光、条纹模式结构光、网格模式结构光和混合模式结构光等。
被动形式：双目相机模仿人眼的视觉系统，可以通过双目的单帧图像计算获得对应的深度图，从而可以与RGB-D相机一样实时获得深度图，且拥有更高的分辨率，因此现在多使用双目相机来实现*初基于RGB-D的SLAM方案。
内窥镜中深度相机拼接成像技术
通过深度相机获得深度图即局部点云后，需要对多个局部点云进行拼接以获得全景三维点云。2021年，Zhou等人将双目相机获得的图像转换为局部点云，通过使用SURF检测相邻左图像的特征点并进行匹配来估计摄像机姿态变化。*，在计算得到变换矩阵的基础上，利用迭代*近点（ICP）算法进行更精细的点云配准，实现了整个胃器官的三维密集重建。
现有研究多采用基于概率估计的内窥镜视觉SLAM方法来描述该问题，其主要由特征提取、特征匹配以及内窥镜定位方法组成。随着双目相机研究的深入及计算机配置的不断提高，目前通过对双目相机采集到的单帧图像进行视差计算，已可以与RGB-D相机一样实时获得深度图，且拥有分辨率更高等优点，因此，现在多使用双目相机实现原本基于RGB-D的SLAM方案。ORB-SLAM3在轨迹估计方面大大优于ElasticFusion，并且其腹腔镜手术图像序列更稳定，而在表面全景重建上则有着相似的性能。
2.单目内窥镜
单目内窥镜体积小、功耗低，但无法直接获得深度图，因此对算法提出了很高的要求。
目前使用更多的是SLAM方法，根据其前端匹配方式的不同，可分为基于特征的SLAM、稠密SLAM和半稠密SLAM。基于特征的SLAM通过对多幅图像进行特征提取及匹配，计算出相机位姿及运动轨迹，从而进行三维全景重建，因为仅使用特征点进行计算，减少了处理数据量，在实时性上有优势，但在弱纹理区域因特征稀少而不稳定。单目稠密SLAM不提取特征点，直接对整幅图像进行处理，可以利用的信息更多，重建也更，但计算复杂度高，导致实时性较差。单目半稠密的SLAM结合上述两种方法的优点，实时性尚可，且在缺少纹理时较为稳定。
近年来，研究人员开始尝试将卷积神经网络与单目SLAM相结合。Chen等人使用对抗性训练的卷积神经网络对从人体结肠的计算机断层扫描测量中渲染出来的图像以及对应的正确深度图进行训练，由单目内窥镜图像实时预测深度图并使用ElasticFusion进行三维拼接，实现对猪胃肠道组织的全景密集重建。Widya等人设计了一种基于平面拟合的三维点离群点去除算法，使用单目内窥镜视频重建整个胃的彩色纹理3D模型，实现了将视频任意帧定位到三维模型。
全景内窥成像应用
全景内窥成像目前主要应用于胶囊内镜和大视场结直肠镜中。
1.胶囊内镜
目前，国内外多个厂家均能提供大视角的胶囊内窥镜。随着小型化技术的进步和相关元件功耗的降低，各个厂家逐渐开始在胶囊内镜中集成更多的摄像头。单个广角镜头的胶囊内窥镜的视场角均在156°-170°之间，可视范围大致相同，区别在于帧率、通信方式和电池寿命等方面不同。
胶囊内镜在诊断治疗OGIB、克罗恩病及复杂乳糜泻等方面起到了重要的作用。在一项对比研究中，提供全景视野的胶囊可以观察到更加丰富的病变信息，检查到更多的出血病例，医生和病人满意度高。在克罗恩病和CD的诊治方面，胶囊内镜也能提供重要的诊断依据，帮助医生制定治疗方案。
2.结直肠镜
结直肠癌是目前诊断率第三普遍的癌症，常规的结肠镜检查仍会遗漏大量的息肉。
*近的相关研究提出褶皱可视化技术（BFT），旨在提高腺瘤检出率。Full Spectrum Endoscopy（FUSE）系统中在单个前视镜头上添加了两个侧视镜头，使视野扩大到330°；EWAVE结肠镜由一个标准的147°前视镜头和两个额外的42.5°横向后视镜头组成，将所有镜头的视图进行合成并显示在显示器上；Third Eye Panoramic设备是两个可以连接到标准结肠镜末端的侧视摄像头，可以获得3个可以投射到屏幕上的图像，将视角扩展到300°以上。
使用这些技术相对于传统结肠镜对提高ADR没有明显的影响，但使用BFT可以提高对非晚期息肉和病变的检测，很好地降低非晚期腺瘤漏诊的风险，对于经验不足的结肠镜医师效果更为明显。
结与展望
在手机上查看
京公网安备 11010802023672号
温馨提示：为规避购买风险，建议您在购买产品前务必确认供应商资质及产品质量。