多模态大语言模型（MLLMs）在各种视觉-语言任务上表现出了强大的性能，但在不完美或偏移的上下文下常常失败。一个可靠的 MLLM 应拒绝真正上下文外（OOC）的问题（涉及主体级上下文偏移），同时仍回答上下文偏移但可回答的问题（Shifted IC，涉及非主体上下文偏移）。现有基准主要针对 OOC 或视觉上不可回答的问题，但忽略了可回答的 Shifted IC 情况，并且覆盖的 OOC 偏移类型有限。为填补这一空白，我们提出了 MMOOC，一个用于评估 MLLMs 拒绝能力和稳健回答能力的大规模基准。MMOOC 包含超过 41K 个图像-问题对，包括可回答的 Shifted IC 案例和不可回答的 OOC 案例，涵盖三种问题格式、八种偏移类型和六种视觉场景，并通过基于 MLLM 的过滤和人工验证确保数据质量。我们使用准确率和拒绝率评估模型响应，并进一步引入 LLM-as-a-Judge 指标来评估模型推理的正确性。在多种 MLLMs 上的实验表明，当前模型在偏移上下文下仍难以平衡可回答性和拒绝能力。我们进一步分析了关键的失败模式，并展示了后训练可以提升鲁棒性。MMOOC 将公开发布。