2023年，我使用了SAM1结合自定义vit分类器来识别并自动化我的显微镜图像分割。

X AI KOLs Following 新闻
microscopy-segmentation sam-zero-shot automation computer-vision vit-classifier prompt-engineering

摘要

作者分享了一种使用SAM1和SAM3.1自动化显微镜图像分割的方法，通过分组相似图像并利用类似视频的传播，实现了100%的准确率。

2023年，我使用了SAM1结合自定义vit分类器来识别并自动化我的显微镜图像分割。 如今，SAM3.1可以零样本完成这一任务。（差不多是这样） 从这类图像中提取掩模的困难在于它们充满了其他你不需要的杂物。如何引导模型只提取你感兴趣的物品，而不是其他类似物体的东西？ 你可以逐一点击每张图像来获取漂亮的掩模，但这很耗时，所以试图做得更好。 尝试了很多方法后，一件酷事出现了。你可以利用显微镜图像之间存在的微小相似性来欺骗模型，使其传播物体掩模，就像处理视频一样。 最终的最佳方法成功分割了100%的图像。 > 按SSIM相似度对图像进行分组 > 给模型一个单点提示 > 在组“视频”上进行传播 > 使用第一组的2-3张重叠图像作为提示，在第二组中进行传播 > 继续在各组之间跳跃 > 建立你所在上下文中已知的故障标志（空掩模、大小阈值、位置阈值等） > 失败的图像重新分组直到通过 就这样。一个简单的算法就自动化了任务！ 通过每张图像的文本提示（结合提示优化）也实现了100%的分割。但许多图像包含了误报（多掩模），这些没有被自动过滤掉。这种单ID视频方法强制模型返回单个掩模，而我们的提示则针对感兴趣的物体。 我喜欢如今的模型通过一点点程序优化魔法就能解决你的问题 :) 不过，分割质量还不太理想，正在研究中
查看原文
查看缓存全文

缓存时间: 2026/08/24 16:00

2023年，我结合SAM1与定制的Vision Transformer分类器来识别和自动分割显微镜图像。

如今，SAM3.1已经能实现零样本学习。（差不多算吧）

从这类图像中提取掩模的难点在于，图像里充斥着各种无关杂讯。如何引导模型仅提取你感兴趣的目标，而非其他类物体的干扰项？

逐张点击图像确实能获得精美掩模，但这极其耗时。我尝试寻找更优解。

经过多种方案测试，一个巧妙方法浮现：利用显微镜图像间存在的微小相似性，诱导模型像处理视频流那样进行目标掩模传播。

最终优化方案实现了100%的图像分割：

按SSIM相似度对图像进行分组 为模型提供单点提示 在该组“视频“中进行传播传播 取首组的2-3张重叠图像作为提示，在第二组中继续传播 持续跳跃处理各组 设置符合场景的失败标识（空掩模、尺寸阈值、位置阈值等） 未通过的图像重新分组直至达标

就这样！一个简单算法就能自动化整个流程！

逐张图像进行文本提示（结合提示优化）同样能达到100%分割率。但许多图像会产生误识别（多重掩模），且无法自动过滤。而单目标ID视频传播法强制模型返回单一掩模，我们的提示精准锁定目标对象。

我欣赏当今模型结合少许编程优化魔法就能解决问题的能力 :)

不过分割质量尚有不足，正在深入研究

相似文章

SAM 3: Segment Anything with Concepts

Papers with Code Trending

SAM 3 引入了一个统一的模型，用于基于提示的概念分割与跟踪，通过解耦的识别与定位架构以及可扩展的数据引擎，实现了最先进的性能。