视觉定位将图像—语言理解与几何预测相结合，但自回归多模态模型通常将边界框表示为坐标序列。顺序解码在定位所需的多模态处理之外增加了计算开销。使这些表征适应边界框几何结构，为直接预测提供了一条途径。我们提出 Jag，将一个紧凑的预训练多模态模型适配用于直接、连续的边界框预测。一个轻量级回归头读取以图像和指代表达为条件的最后一个有效输入词元的状态，并同时预测边界框的全部四个坐标。几何监督联合调整语言骨干网络、视觉融合模块和回归头，使定位损失能够同时塑造多模态表征和坐标映射。推理时保留图像—语言处理，仅需一次前向传播即可返回边界框，无需生成坐标或解析文本。在各项基准测试中，Jag 在所考察的各种目标尺寸和表达分组上，均持续取得优于其基础模型的定位准确率。组件消融实验表明，联合调整表征和回归头，相比仅训练回归头，能够显著提高准确率。与现有专用定位模型相比，Jag 在准确率上具有竞争力，同时具有更低的单请求延迟和 GPU 显存占用。这些结果表明，针对几何答案设计的监督能够使紧凑的预训练多模态模型专门适用于准确的视觉定位和高效的直接预测。项目主页：https://xyzzzh.github.io/Jag/