视觉令牌剪枝可以大幅降低多模态大语言模型（MLLMs）的推理成本，但现有方法主要依赖固定的手工启发式规则和高成本的专家试错。随着剪枝目标、预算和模型架构的多样化，手动探索不断扩大的设计空间变得越来越困难。本文旨在通过回答一个自然问题来构建用于视觉令牌剪枝的AI4AI框架：大语言模型能否自动设计有效的视觉令牌缩减算法？尽管LLMs具有广泛的算法知识和强大的推理能力，但将这些通用知识转化为针对特定任务的有效解决方案仍然是一项艰巨的任务。我们认为，关键在于设计一种合适的搜索状态表示，将LLMs的内部知识与视觉令牌剪枝的结构要求和约束联系起来。基于这一见解，我们提出了AutoPrune，一个无需训练的、由LLM驱动的视觉令牌剪枝策略设计框架。AutoPrune的核心是引入了一种令牌剪枝领域特定语言（TPDSL），包含131个可重用原子，用于预算控制、令牌评分、选择约束和令牌重组。TPDSL的一个关键特性是，它将每个搜索状态表示为强基策略的残差修改。这种残差表述缩小了搜索空间，并将LLM的注意力引导到对性能影响最大的策略组件上。在14个多模态基准测试和三个MLLM骨干网络上的实验证明了AutoPrune的有效性、效率和可迁移性。即使移除94.4%的视觉令牌，AutoPrune仍保留了超过99%的全令牌性能，同时将FLOPs降低了9.9倍，预填充延迟降低了6.4倍。