大语言模型（LLM）越来越多地被部署为移动助手，其中一个关键挑战是如何利用分散在多个应用程序（app）中的个人信息来完成用户指令。然而，由于缺乏专门的基准测试，这些模型的能力仍未得到充分了解。为了解决这一空白，我们推出了SPIEval——一个基于五种认知能力（即推理、消歧、整合、偏好推断和多意图分解）的人工构建基准。SPIEval包含250个任务，涵盖分布在10个应用中的4,335条个人记录，并通过21个工具支持多轮交互。分析表明，该基准具有多样化的场景、具有挑战性的任务、分散的信息、可控的环境和可验证的结果。我们评估了九个代表性的大语言模型，发现仍有很大的改进空间。表现最好的模型GPT-5.5（xhigh）仅达到57.3%的准确率，而最弱的模型仅为16.4%。进一步分析显示，79%的失败源于信息定位不准确，因为大语言模型常常执着于看似合理但不正确的信息，而不是继续检索以进行验证。我们还发现，只有不到2%的检索操作使用了高级搜索方法，并且不同模型在搜索效率上存在显著差异。这些发现揭示了当前基于大语言模型的移动助手的根本局限性，并激励了未来在这一方向上的研究。数据和代码可在 https://huggingface.co/datasets/Junjie-Ye/SPIEval 获取。