model-inference

本文讨论了AI模型在智能体系统中推断缺失数据的风险，可能导致未授权执行，并提出将决策权限与模型分离，以确保仅执行明确声明的指令。

作者正在构建一个双 GPU 系统，用于运行大型语言模型，评估 AMD Radeon AI Pro R9700 与 NVIDIA RTX 3090 选项，同时旨在降低 AI 订阅成本。

作者分享了在12GB显存GPU上运行使用EXL3量化的30B参数模型的经验，实现了编码和代理任务的高效性能和速度。

用户成功使用llama.cpp中的mmap函数，将Qwen3.8-Flash-Next IQ3_XSS模型放入16GB+64GB RAM中，达到26 tokens/秒的速度，这超过了更大的非MOE 30B模型。

本文详细介绍了使用自定义运行时CRANE V2在消费级硬件上进行的极限混合专家模型实验，并展示了包含Kimi K3、DeepSeek V4 Flash和Qwen3.5-122B模型结果的研究论文。

一位用户突出了Buun在优化AI模型方面的工作，实现了在单张3090 GPU上对Qwen 3.6的高速推理，并为Qwen 3.8开发了DFlash2。

用户分享了使用Qwen 3.8 27b模型搭配DeepSeek Harness的积极体验，赞扬其稳定性和长上下文处理能力，但提到速度限制，并期待未来的模型发布。

一位Twitter用户预测，与Kimi K3相当的AI智能将在18个月内运行在单张RTX PRO 6000 GPU上，并后来指出Opus 4.6 Max的质量已经可以在单张RTX 5090上运行。

已为 Qwen3.8-27B AI 模型部署免费公共端点，提供兼容 OpenAI 的 API，支持视觉、工具调用和大型上下文窗口，由 Hugging Face Inference Endpoints 提供支持，至少在线 72 小时。

一位用户在2023年构建了一款专门用于运行Qwen 3.8 27B等模型的AI服务器。

作者使用ARM64汇编语言从头实现了YOLO26n模型推理，没有使用任何外部框架，展示了底层AI推理技术。

LTX-Video 是 Lightricks 开发的一个开源 Python 仓库，用于在本地使用 LTX-Video 模型生成和调节视频，支持文本/图像输入、多条件工作流程，并与 ComfyUI 和 Diffusers 集成。

MTPLX V2已发布，声称在搭载M5 Max的Macbook Pro上通过MLX运行Qwen 3.6 27B模型时每秒可处理72+ tokens。

John Carmack 评论了关于AI加速器的内存成本和容量问题，指出模型推理可以有确定性的内存访问模式，这与游戏渲染形成对比。

DFlash 支持已合并到 llama.cpp，提升了兼容模型的推理性能。

一位用户分享了在双GPU配置（RTX 4090 + RTX 3090）上使用llama.cpp运行Qwen3.6 27B (Q8_0)的优化设置，在250k上下文下实现了75-100 t/s和1500 pp。

一位用户分享了将旧款 NVIDIA 2070 Super GPU 添加到机子中以获得额外 VRAM 的经验，使其能够以高量化和上下文大小运行像 Qwen3.6-27B 这样的更大模型，且性能良好，现在正考虑升级到 3090 以获得更多 VRAM。

一位用户成功在一台使用十年的旧工作站上（配备 GTX 1060 6GB），在 Windows 上使用 LMStudio 运行了 Qwen3.6-35B-a3b-MTP 模型，实现了可接受的聊天速度。

作者分享了在8GB RTX 3070 Ti上使用llama.cpp运行Qwen3.6-35B-A3B MoE模型，实现高达262k上下文、30+tps的详细调优技巧，并指出从Windows切换到Ubuntu Server后速度提升了25%。

OpenClaw 正在寻找早期用户测试其开源模型推理方案，该方案按并发槽位销售，具有高吞吐量且无共享池，以换取免费使用和反馈。