DINO-XSeek 是一款基于多模态大语言模型的目标检测模型。结合视觉与语言理解，只需通过自然语言描述，DINO-XSeek 就能精准定位复杂场景中的目标，降低用户在实际应用中的二次开发成本。

基于 IDEA 研究院 DINO-X 统一视觉模型，DINO-XSeek 在精准感知能力的基础上，融合了多模态大语言模型的推理与理解能力。

它的核心突破在于，不仅能识别名词层级的目标（如“女孩”），还能联合解析形容词（如“红色上衣”）和介词（如“站在旁边”），真正让 AI 看懂细节。无论是“穿红色上衣的女孩”还是“站在白衣男生旁边的她”，DINO-XSeek 都能准确检测。

通过自然语言描述，DINO-XSeek 可以推理出待检测目标的属性（如颜色、大小、姿势、穿着等）、方位（如朝向、距离、深度等）或者（物品之间或与环境的）交互关系，从而实现精准的目标定位。

DINO-XSeek 实现了指代表达理解（Referring Expression Comprehension, REC）。REC 是计算机视觉与自然语言理解交叉领域的核心任务，旨在通过自然语言描述精准定位图像中的目标对象。

DINO-XSeek 通过多模态融合和高级语义推理，为 REC 任务提供了更强大的解决方案。

DINO-XSeek 识别结果。在工业制造与质检、安防等行业应用潜力广泛。

与主流目标检测模型以物体为核心不同，DINO-XSeek 以理解物体属性及关系为核心，不再孤立地关注物体本身，而是专注于物体相关的处理逻辑。

具体而言，以人类学习为例，以物体为核心的模型更像是幼儿启蒙阶段对物体的认知，如幼儿会辨认道路的“车”。随着见识（即数据）增长，部分高阶的认知能够进一步识别物体基础的属性以及关系，如“红色的车”、“前面的车”、“大的车”、“货车”，但仍旧难以理解“正在执行任务的消防车”之类的更复杂的描述。

相比之下，DINO-XSeek 则像是一位学生，已经建立起知识储备和对事务逻辑的理解，能正确辨认“正在执行任务的消防车的云梯上拿着喷水枪的消防员”这样复杂的描述，而不是简单地标记“消防车”或“消防员”，真正实现了近似人类对复杂场景的理解能力。

原图

DINO-XSeek 识别结果。提示词：The firefighter holding a water spray gun on the ladder of the fire truck that is carrying out a mission（消防员手持喷水枪，站在执行任务的消防车云梯上）

以理解物体属性及关系为切入点意味着，DINO-XSeek 将能够根据用户输入的业务处理逻辑来完成相关的目标检测任务，降低在实际生产应用中，用户基于视觉模型进行二次处理的后置开发成本。

举个例子，在当前的工厂流水线中，企业在使用视觉模型检测出零部件存在缺陷以后，需要进一步对缺陷进行分类，如划痕、裂纹、尺寸偏差等，并统计各种缺陷的出现频率和分布情况，为生产工艺的改进提供数据支持。

而 DINO-XSeek 为生产工艺智能化提供了更多想象。比如通过使用 DINO-XSeek 精准区分出“划痕过多的零部件”、“带裂纹的零部件”或者“尺寸不合格的零部件”，企业便可以实现零部件缺陷的检测和分类工作全自动化，无需再像之前一样投入巨大的资源对零部件缺陷进行进一步分类和统计。
混合架构

目标检测+多模态语言理解

传统目标检测模型虽然在目标感知上表现优异，但缺乏对复杂语言的理解能力。大语言模型在文本理解方面突出，却在精确目标定位上存在短板。

为了解决这一矛盾，DINO-XSeek 参考 ChatRex 的模型架构，采用了一种检索式框架。

即先使用开集目标检测模型 DINO-X 检测图像中的所有物体，并生成候选目标的边界框。

然后，大语言模型根据指代表达，从检测出的目标集合中检索最相关的对象，而非直接预测坐标。

DINO-XSeek 模型概览图。其主要有三部分组成，包括提取视觉 token 的视觉编码器、提取物体 token 的目标检测模型，以及提取文本 token 的 tokenizer。三种 token 一起送入 LLM 中，进行物体索引预测。

现有主流方法，往往仅针对单实例进行训练和推理，难以应对现实世界中一条指代描述对应多个目标的情况。

这一设计避免了传统 MLLM 在检测任务上的泛化难题，使得 DINO-XSeek 能精准处理多实例指代任务。

多应用场景

DINO-XSeek 为工业制造与质检、安防等领域的智能化提供了新的想象。

工业制造与质检

安全合规检测：识别「未佩戴护目镜的操作员」「进入危险区域的工人」，触发语音警告。

DINO-XSeek 识别结果。提示词：The worker not wearing a safety helmet（没有戴安全帽的工人）

DINO-XSeek 识别结果。提示词：The worker under the steel bars（在钢筋下面的工人）

质量检测：针对流水线上生产的零部件或最终成品，自动识别并分类各种缺陷（如划痕、裂纹、尺寸偏差），为工艺改进提供更精准的数据参考。

DINO-XSeek 识别结果。提示词：abnormal light（异常光线）

公共安全与智能安防

视频搜人：通过输入「背黑色双肩包的男性」等语言描述，即可在大规模监控画面中快速定位相应目标。

DINO-XSeek 识别结果。提示词：The person with blond hair（有金色头发的人）

智能家居与生活

危险行为识别：在家庭场景中自动识别老人意外摔倒等高风险状况，及时通知看护人员或发出紧急警告。

DINO-XSeek 识别结果。提示词：The person who fell（摔倒的人）

农业与食品

农作物检测：根据发育程度对农作物进行分类，或识别腐坏、病虫害侵染的果实，有效提升种植和收获效率。

DINO-XSeek 识别结果。提示词：Bad apple（坏苹果）

自动驾驶

道路场景识别：对车载摄像头拍摄的道路图像进行标注，识别出道路、交通标志、车道线、行人、其他车辆等目标，帮助自动驾驶汽车理解周围环境，做出正确的行驶决策。

DINO-XSeek 识别结果。提示词：The road sign pointing to Soral（指向 Soral 的路标）

障碍物检测：及时标注出图像中的障碍物，如路边的障碍物、突然出现的动物等，使自动驾驶系统能够提前做出制动或避让等操作，保障行车安全。

DINO-XSeek 识别结果。提示词：Tree on the road（路上的树）

欢迎体验
官网：https://deepdataspace.com/
Playground：https://cloud.deepdataspace.com/playground/dino-x
Blog：https://deepdataspace.com/blog/dino-xseek