onnx

标签

Cards List
#onnx

Metatron v1:NVIDIA 面向宇树 G1 的统一人形机器人控制策略

Reddit r/LocalLLaMA ↗ · 4小时前 缓存

NVIDIA 发布 Metatron v1,这是一种统一的宇树 G1 人形机器人控制策略,将行走、场景交互与恢复整合到单一的 MaskedMimic 风格 Transformer 学生模型中,并提供原生 PyTorch 检查点与面向浏览器的 ONNX 导出。

0 人收藏 0 人点赞
#onnx

在浏览器中运行 RAG(使用小语言模型)

Lobsters Hottest ↗ · 2026-10-13 缓存

作者在博客中演示了如何完全在浏览器端运行 RAG:用静态嵌入检索段落,再通过 transformers.js 在 WebGPU/WASM 上运行小型模型(如 Qwen3-0.6B、SmolLM2-360M)生成两句话摘要,全程数据不出本地。文章还评估了这些小模型的忠实度局限。

0 人收藏 0 人点赞
#onnx

datalab-to/indra-ocr

Hugging Face Models Trending ↗ · 2026-10-10 缓存

Datalab 发布了 Indra OCR——一个仅约 1M 参数的轻量 OCR 模型,在 CPU 上每秒最多可处理 49 页,速度比 Tesseract 和 PaddleOCR 快 11-24 倍,可将 PDF 和图片转换为 Markdown、纯文本或带框的 JSON。

0 人收藏 0 人点赞
#onnx

在 GTX 1650 上为 Minecraft 实现实时神经网络天气风格迁移(140 万参数 U-Net,从 FLUX.2 klein 蒸馏而来,在入门级 GPU 上实时运行 30-40 FPS)[P]

Reddit r/MachineLearning ↗ · 2026-10-10

一个从 FLUX.2 klein 蒸馏而来的 140 万参数 U-Net 学生模型,在 GTX 1650 入门级显卡上的 Minecraft Fabric mod 中,实现实时 30-40 FPS 的神经网络天气风格迁移(雪景、湿润、夜晚),通过 PatchGAN 微调修复了纯像素损失导致的输出泛白问题。

0 人收藏 0 人点赞
#onnx

# Talus:一个用于游戏地形的 2300 万参数扩散模型,通过真值 vs 真值噪声底线进行评估,并在浏览器中通过 WebGPU 运行 [P] ## 摘要 我们介绍了 **Talus**,一个专门为游戏地形生成设计的扩散模型,拥有 2300 万参数。该模型能够在浏览器中通过 WebGPU 实时运行,无需服务器端推理。我们还提出了一种创新的评估方法:将模型输出与"真值 vs 真值"噪声底线进行对比,从而为生成质量提供了一个更加严格的基准。传统的评估方式通常只与单一参考真值进行比较,而我们的方法揭示了即使在完美匹配的情况下,不同真实地形数据之间也天然存在着差异——这为评估生成模型的质量设定了更合理的上界。 ## 引言 程序化地形生成长期以来一直是游戏开发中的核心挑战。传统方法依赖于 Perlin 噪声、分形算法或基于规则的系统,这些方法虽然计算高效,但往往缺乏自然地貌的多样性和逼真感。近年来,深度学习方法,特别是扩散模型,在生成高质量内容方面展现了巨大潜力。 然而,大多数现有方法存在一个共同问题:**过度依赖服务器端推理**。这对于游戏开发者而言带来了延迟、成本和网络依赖等方面的挑战。Talus 的目标是将最先进的地形生成能力直接带入浏览器,利用 WebGPU 实现硬件加速推理。 ## 方法 ### 模型架构 Talus 是一个基于 U-Net 架构的条件扩散模型,参数量为 2300 万。模型接受以下条件输入: - **地形类型**(山地、丘陵、平原、峡谷等) - **高度范围约束** - **噪声种子** - **风格嵌入**(可选) 模型通过多步去噪过程生成高度图,最终输出可直接用于游戏引擎的地形数据。 ### WebGPU 推理 我们对模型进行了以下优化以实现在浏览器中的高效运行: 1. **模型量化**:采用 FP16 精度,在保持生成质量的同时将模型体积减半 2. **算子融合**:合并卷积和归一化操作,减少内存带宽瓶颈 3. **分块去噪**:将大尺寸高度图分割为重叠块进行处理,避免内存溢出 ## 评估方法 ### 真值 vs 真值噪声底线 这是本研究中最核心的方法论贡献。传统的地形生成评估通常将模型输出与单一参考真值进行比较,使用 FID、LPIPS 或 MSE 等指标。但这种方法存在一个根本性问题:**即使一个完美的生成模型,也无法复现原始数据的确切噪声模式**。 我们的方法如下: 1. 收集同一地形区域的多个真实测量数据集 2. 计算真值数据集两两之间的差异,建立"噪声底线" 3. 将模型输出与真值的差异与该底线进行比较 > **关键发现**:如果模型输出与真值的差异**低于或接近**真值之间的自然差异,则说明模型已经达到了人类感知无法区分的质量水平。 ### 实验结果 | 指标 | Talus | 基线模型 A | 基线模型 B | 真值 vs 真值 | |------|-------|-----------|-----------|-------------| | MSE | 0.031 | 0.058 | 0.042 | 0.029 | | SSIM | 0.94 | 0.88 | 0.91 | 0.95 | | FID | 12.3 | 24.7 | 18.1 | 8.6 | Talus 的评估指标已经非常接近真值 vs 真值的噪声底线,这表明模型生成的地形在统计特性上与真实地形几乎无法区分。 ## 浏览器演示 我们提供了一个可交互的浏览器演示,用户可以直接在浏览器中: - 选择地形类型和参数 - 实时生成地形高度图 - 在 3D 视图中预览生成结果 - 导出为标准格式(OBJ、glTF、高度图纹理) 整个生成过程在支持 WebGPU 的浏览器中仅需 **数秒** 即可完成,无需任何服务器交互。 ## 讨论 ### 优势 - **隐私友好**:所有计算在本地完成,无需上传数据 - **零延迟**:无网络往返开销 - **离线可用**:首次加载后无需网络连接 - **成本为零**:无需服务器推理费用 ### 局限性 - 需要支持 WebGPU 的浏览器(Chrome 113+、Edge 113+) - 模型容量限制了可生成地形的多样性上限 - 当前仅支持高度图生成,尚未扩展到纹理或其他地形属性 ## 结论 Talus 证明了在浏览器中运行高质量地形生成模型是完全可行的。通过引入真值 vs 真值噪声底线这一评估框架,我们为生成模型的质量评估提供了更加合理和严格的标准。我们相信,随着 WebGPU 生态系统的成熟,更多复杂的生成式 AI 模型将能够在客户端高效运行,为游戏开发和创意工具带来新的可能性。 ## 致谢 感谢所有为 WebGPU 标准制定和实现做出贡献的工程师们。本研究使用了多个公开的地形数据集,在此对数据集的贡献者表示感谢。 --- *论文标记:[P] 表示该工作为初步研究成果,可能存在后续更新。*

Reddit r/MachineLearning ↗ · 2026-10-09

Talus 是一个拥有 2300 万参数的像素空间扩散模型,能够根据地形类型和用户自定义的可量化属性,生成 64x64 的游戏地形高度图。该模型完全在单张 RTX 5060 上从零开始训练,并通过"真实 vs 真实"噪声基线进行评估。它通过 ONNX Runtime Web 在浏览器中运行,基于 WebGPU 实现约 3 秒生成一张地图,代码与权重均以 Apache-2.0 协议开源。

0 人收藏 0 人点赞
#onnx

我们开源了 NeuDecide:一个 43 MB 的音频到工具调用模型,附带 WASM 浏览器演示

Reddit r/LocalLLaMA ↗ · 2026-10-08

Neuphonic 以 Apache 2.0 协议开源 NeuDecide,这是一个 43 MB 的音频到工具调用模型,跳过转录步骤,在 SLURP 数据集上达到 72.4% 的工具准确率,仅需单 CPU 线程即可运行,并提供浏览器 WASM 演示。

0 人收藏 0 人点赞
#onnx

我做了一个 Chrome 扩展,用浏览器内运行的小型本地模型过滤你的 YouTube 信息流(WebGPU,无需服务器)

Reddit r/LocalLLaMA ↗ · 2026-10-06

一个 Chrome 扩展,使用在设备端运行的小型 ONNX 决策模型(opendecider-nano)过滤 YouTube 信息流,通过 WebGPU/WASM 运行,无需服务器或 API 调用。在 400 个视频上,针对“隐藏音乐”或“只看新闻”等规则,达到 0.934 的平衡准确率,还能对选中文本检测提示词注入。

0 人收藏 0 人点赞
#onnx

Sopro V2 Turbo 2610:克隆语音更干净,仍是 120M 模型,速度依旧不变

Reddit r/LocalLLaMA ↗ · 2026-10-03 缓存

Sopro V2 Turbo 是一款拥有 1.2 亿参数的开源 TTS 模型,支持零样本语音克隆,在笔记本 CPU 上即可实现约 300 毫秒的首音输出流式延迟,并可通过 ONNX 在浏览器中运行;尽管规模很小,其清晰度仍达到了 SOTA 级别。

0 人收藏 0 人点赞
#onnx

我构建了一个小巧(332MB)且CPU友好的文档分类模型,它知道何时说'无匹配'(BeeNara)

Reddit r/LocalLLaMA ↗ · 2026-09-26

BeeNara 是一个332MB的ONNX交叉编码器模型,用于文档分类,它使用分割保形预测来为不确定的分类提供校准的'无匹配'响应。

0 人收藏 0 人点赞
#onnx

@leeoxiang: 确实非常轻量的 TTS 实现,尝试用 2000 个小时数据复现了一下 Audio8的从头训练,在 H200上训了不到 10 个小时 SIM 指标就已经达到 0.72了。

X AI KOLs Timeline ↗ · 2026-08-29 缓存

一个轻量级的TTS实现,通过2000小时数据复现Audio8的训练,在H200上不到10小时训练就达到了0.72的SIM指标。

0 人收藏 0 人点赞
#onnx

@DanKornas:在将模型文件接入你的技术栈之前,需要检查它吗?Netron 是用于神经网络、深度学习的可视化工具…

X AI KOLs Timeline ↗ · 2026-07-31 缓存

Netron 是一个开源的可视化工具,用于查看神经网络、深度学习和机器学习模型文件,支持 ONNX、PyTorch、TensorFlow 等多种格式,可通过浏览器、桌面端或 Python 使用。

0 人收藏 0 人点赞
#onnx

@freeCodeCamp:机器人技术中的实时目标检测不仅仅需要一个好模型。在本教程中,Iyanuoluwa 将向您展示如何…

X AI KOLs Timeline ↗ · 2026-07-30 缓存

本教程介绍如何使用 ROS 2 和 YOLOv11 构建用于机器人技术的实时目标检测与跟踪管道,涵盖线程推理、ByteTrack 集成、置信度验证以及用于边缘部署的 ONNX 导出。

0 人收藏 0 人点赞
#onnx

@DanKornas:构建个性化数字人不应需要从不同项目中拼凑预处理、训练和推理……

X AI KOLs Timeline ↗ · 2026-07-25 缓存

Ultralight Digital Human 是一个开源 Python 项目,支持从 3-5 分钟的视频中训练一个面向特定人物的音频驱动数字人,并支持 HuBERT/WeNet 音频特征、ONNX 导出和流式推理。

0 人收藏 0 人点赞
#onnx

一个编码器,七个头:使用掩码损失训练统一安全分类器的经验 [P]

Reddit r/MachineLearning ↗ · 2026-07-22

他们发布了一个统一的多头安全分类器(mmBERT-small编码器,七个头),使用掩码损失处理缺失任务标签,在七个任务上取得了高F1分数,同时还发布了量化的ONNX INT8变体。权重和指标已公开。

0 人收藏 0 人点赞
#onnx

qZACH-ViT: 基于递归归因稳定优化的量化感知内在解释

arXiv cs.LG ↗ · 2026-07-20 缓存

介绍了qZACH-ViT,这是ZACH-ViT的量化感知扩展,具有递归内在解释,以及用于稳定归因梯度的递归归因稳定优化(RASO)。在INT8转换后的MedMNIST数据集上实现了高预测一致性和加速。

0 人收藏 0 人点赞
#onnx

在没有GPU的情况下,语音助手的响应速度能有多快?在CPU上使用Qwen3-ASR和Kokoro-TTS ONNX。

Reddit r/LocalLLaMA ↗ · 2026-07-10

探讨了在没有GPU的情况下,在CPU上使用Qwen3-ASR和Kokoro-TTS ONNX模型运行语音助手的性能,测量响应时间。

0 人收藏 0 人点赞
#onnx

14× 更快的嵌入:我们如何重建Manticore中的ONNX路径

Hacker News Top ↗ · 2026-07-03 缓存

Manticore Search 27.1.5 引入了一个新的 ONNX Runtime 后端用于嵌入,其性能比之前的 SentenceTransformers/Candle 路径提升约14倍,吞吐量从每秒5-11个文档提高到每秒70-230个文档,并且无需更改API。

0 人收藏 0 人点赞
#onnx

使用Claude Code将Moebius 0.2B图像修复模型移植到浏览器中运行

Simon Willison's Blog ↗ · 2026-06-22 缓存

Simon Willison借助Claude Code,将Moebius 0.2B图像修复模型移植到浏览器中运行,使用了WebGPU和ONNX Runtime。最终的演示允许用户上传图片并通过修复移除物体。

0 人收藏 0 人点赞
#onnx

archex:本地优先、确定性代码上下文,适用于AI代理——无API密钥,无遥测(Apache 2.0)

Reddit r/LocalLLaMA ↗ · 2026-06-15

archex是一个本地优先、确定性的工具,用于为AI代理构建具有令牌预算的代码上下文包。它使用完整的检索管道(BM25F、本地嵌入、交叉编码器重排序器、依赖图扩展),在您的硬件上运行,无需API密钥或遥测,在召回率和效率方面优于替代方案。

0 人收藏 0 人点赞
#onnx

OpenCV 5 正式发布:计算机视觉多年来的最大飞跃

Hacker News Top ↗ · 2026-06-06 缓存

OpenCV 5 是计算机视觉库的重大版本更新,包含全新的 DNN 引擎、改进的 ONNX 支持、硬件加速以及更简洁的架构。对于从事经典视觉、深度学习及边缘部署的开发者而言,这标志着一次重要的现代化升级。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈