edge-ai

标签

Cards List
#edge-ai

LFM3-1.7B 量化报告:3.6 GB 显存无损运行;2.2 GB 仅有轻微性能下降

Reddit r/LocalLLaMA ↗ · 6天前

LiquidAI 的 LFM3-1.7B 量化报告显示,该模型可在 3.6 GB 显存中无损运行(2.2 GB 时仅有轻微性能下降),在 LiquidAI 基准测试中超越 MiniCPM5-2B,同时以一半的内存提供 2 倍的上下文长度。

0 人收藏 0 人点赞
#edge-ai

@jacobtechtavern:趣味小知识:你可以使用智能体+CreateML,将 HuggingFace 上的任何模型转换为兼容 iOS 的 CoreML 模型,并让它……

X AI KOLs Timeline ↗ · 2026-11-02

有趣的小知识:你可以结合使用智能体和 CreateML,将任何 HuggingFace 模型转换为兼容 iOS 的 CoreML 模型,并使其运行速度提升至原来的约 3 倍。

0 人收藏 0 人点赞
#edge-ai

NVIDIA Nemotron 3.5 Bolt E4B 4GB(基于 Gemma 4 E4B 后训练)

Reddit r/LocalLLaMA ↗ · 2026-10-31

NVIDIA 发布了 Nemotron 3.5 Bolt E4B 4GB,这是一个基于 Gemma 4 E4B 进行后训练的模型,具备多轮智能体和对话能力,针对在 RTX、Jetson 和 DGX Spark 设备上的运行进行了优化,宣称质量比同类模型高约 40%,输出 token 数量减少约 80%。

0 人收藏 0 人点赞
#edge-ai

超越低通动力学:具有共振神经元的频率选择性脉冲储备池

arXiv cs.AI ↗ · 2026-10-31 缓存

该论文提出 HRF-Res,一种用谐振放电(HRF)神经元替代传统 LIF 神经元的液态状态机,使脉冲储层具备频率选择性动力学,在十个基准上达到脉冲储层方法的最先进精度,同时比等效非脉冲振荡储层能耗降低多达 19 倍。

0 人收藏 0 人点赞
#edge-ai

@Google:我们的 TPU 刚刚从太空传回了消息…… 10 月初,我们将四块 TPU 送入轨道,以测试我们的 AI 硬件……

X AI KOLs Timeline ↗ · 2026-10-30 缓存

Google 报告称,其四块 TPU 成功在轨道上运行,验证了该 AI 硬件在被送入太空后能够正常启动、处理提示词,并将响应传回地球。

0 人收藏 0 人点赞
#edge-ai

@_philschmid:这太不可思议了。Gemma 4 成为首个在太空中运行的大语言模型了?

X AI KOLs Timeline ↗ · 2026-10-30 缓存

谷歌的 Suncatcher 项目成功向一颗在轨原型卫星发送了指令,启动了 TPU,运行了一条提示词,并在地球上收到了由大语言模型生成的完整俳句回复——这是在太空中运行 AI 模型的一个里程碑。

0 人收藏 0 人点赞
#edge-ai

LFM3-Omni-2B 在浏览器中通过 WebGPU 本地运行

Reddit r/LocalLLaMA ↗ · 2026-10-30

LiquidAI 的 LFM3-Omni-2B 成为首个可在浏览器中通过 WebGPU 100% 本地运行的全模态模型,无需独立 ASR/TTS,在 M4 Max 上实现约 280 token/s、90ms 首 token 延迟。

0 人收藏 0 人点赞
#edge-ai

在零重新训练的情况下,将 NVIDIA 新推出的 30B 语音大语言模型从 67.5GB 剪枝至 10GB,转录词错误率(WER)仍为 5.16%(教师模型:4.12%)

Reddit r/LocalLLaMA ↗ · 2026-10-29 缓存

这是 NVIDIA Nemotron-3.5-Transcribe-30B-A4B 语音大语言模型的一个衍生版本,采用 REAP 剪枝,无需重新训练,将模型体积从 67.5GB 缩减至 10GB(4 位量化),同时将词错误率(WER)保持在 5.16%,而教师模型为 4.12%;在 H200 上使用 vLLM 运行时,其单流吞吐量提升了 27%。

0 人收藏 0 人点赞
#edge-ai

我搭了一个本地 GPU 基准测试服务器,用来测试 4B 到 35B 模型,因为我受够了那些合成云排行榜和小样本测试

Reddit r/LocalLLaMA ↗ · 2026-10-27

一位开发者搭建了配备两块 RTX 5060 Ti 显卡(共 32GB 显存)的本地 GPU 基准测试服务器,运行 vLLM,对 12 个从 4B 到 35B 的量化开放权重模型进行了完整基准数据集测试,并加入了实际耗时效率评分,最终在 llmbenchmarks.io 上发布了可排序的测试结果。

1 人收藏 1 人点赞
#edge-ai

@maximelabonne:“我的模型能在灯上跑吗?”大概是新的基准了

X AI KOLs Following ↗ · 2026-10-27 缓存

Liquid AI 工程师展示 LFM3-Audio 模型在本地设备(一盏灯)上运行并进行语音对话,网友戏称“能否在灯上跑模型”正成为新的基准。

0 人收藏 0 人点赞
#edge-ai

@maximelabonne: 完美。

X AI KOLs Timeline ↗ · 2026-10-27 缓存

Liquid AI 在 Hugging Face 上发布了 LFM3,这是一个拥有约 20 亿参数、共享骨干网络的模型家族,涵盖文本、视觉、音频、全模态和决策模型,可通过 Transformers.js 利用 WebGPU 在浏览器中实时为本地视频生成字幕。

0 人收藏 0 人点赞
#edge-ai

LFM3 by Liquid AI

Product Hunt ↗ · 2026-10-27 缓存

Liquid AI 发布第三代 Liquid Foundation Models(LFM3),首批包含六个 2B 级模型,覆盖文本、视觉、音频、全模态和决策任务,采用开放权重并共享主干架构,可在手机、笔记本和边缘设备上运行,权重已上线 Hugging Face。

0 人收藏 0 人点赞
#edge-ai

通过 ISO 11783 网络传输机器可读操作手册,以支持离线多语言大语言模型辅助

arXiv cs.CL ↗ · 2026-10-26

本文分析了通过 ISO 11783 CAN 总线实现操作手册语义同步的方法,以便在农业机械上提供离线、多语言的大语言模型辅助,并对 Markdown、JSON 和 XML 格式的传输进行基准测试,同时评估采用检索增强生成技术的开放权重大语言模型在多种语言中的表现。

0 人收藏 0 人点赞
#edge-ai

边缘离线生成式人工智能的信任机制:连接模式框架与基于树莓派 5 的实证研究

Hugging Face Daily Papers ↗ · 2026-10-24 缓存

该论文提出了一套面向离线边缘生成式AI的连通性体制框架(C0-C4)与推理时信任机制分类法,并在Raspberry Pi 5上以Qwen2.5模型进行本地RAG实证研究,发现签名知识包可被投毒攻击绕过,且现有验证机制无法保证证据真实性。

0 人收藏 0 人点赞
#edge-ai

LiquidAI/LFM3-1.7B

Hugging Face Models Trending ↗ · 2026-10-23 缓存

Liquid AI 发布了 LFM3-1.7B,这是一款拥有 17.3 亿参数的三重混合架构文本模型,专为本地智能体和边缘部署而设计,具备 256K token 的上下文窗口,在 4 位精度下仅需约 1 GB 内存,并支持通过单 GPU 微调实现领域专精。

0 人收藏 0 人点赞
#edge-ai

unsloth/NVIDIA-Nemotron-3.5-Bolt-E4B-GGUF

Hugging Face Models Trending ↗ · 2026-10-23 缓存

Unsloth 发布 NVIDIA Nemotron 3.5 Bolt E4B 的 GGUF 量化版本(Q4_K_M),这是一个基于 Gemma-4-E4B-it 进一步后训练的小语言模型(SLM),专为低内存、低首字延迟的本地语音助手与嵌入式/边缘设备场景优化。

0 人收藏 0 人点赞
#edge-ai

我们将可控小型 TTS 缩小到了 11.84 MB。WER 保持不变,UTMOS 下降约 0.1 [p]

Reddit r/MachineLearning ↗ · 2026-10-22

WhissleAI 发布了 SteerTTS-Edge,这是一款支持可控语音合成的小型英语 TTS 模型,通过对声学模型进行 int4 量化感知训练,并采用蒸馏后的 Vocos 声码器,将模型压缩至 11.84 MB,同时保持语音可懂度不变(WER 为 0.96%),UTMOS 仅下降约 0.1 分,并保留了全部 12 项控制功能。

0 人收藏 0 人点赞
#edge-ai

AuroraTTS-100K 发布!

Reddit r/LocalLLaMA ↗ · 2026-10-22 缓存

AuroraAI-Research 发布了 AuroraTTS-100K,这是一个极小的英语文本转语音模型,推理参数仅为 95,638 个。该模型使用可微分的谐波+噪声 DSP 合成器(而非神经声码器)在 LJSpeech 上从零开始训练,实现了 UTMOS 3.53 的评分,且推理速度非常快。

0 人收藏 0 人点赞
#edge-ai

用于电力负荷预测的极低状态量化 Transformer

arXiv cs.LG ↗ · 2026-10-22 缓存

弗吉尼亚联邦大学的一篇论文探讨了用于电力负荷预测的 Transformer 模型的极低状态数权重量化(3、5、7、16 个状态),表明量化感知训练和累积更新阈值机制能够在保持预测性能的同时,将权重更新次数减少约 99.7%。

0 人收藏 0 人点赞
#edge-ai

面向 FPGA 和集成电路平台硬件加速与系统级优化的强化学习:综述

arXiv cs.LG ↗ · 2026-10-22 缓存

一篇系统综述,涵盖了一百多项关于在 FPGA 和集成电路平台上部署强化学习的研究,重点分析架构设计、性能度量与硬件-算法协同设计。该综述统一比较了 FPGA 与 IC 两种实现路径的资源利用率、延迟、吞吐量、功耗及性能增益,并指出了开放挑战与未来方向。

0 人收藏 0 人点赞
Next →
← 返回首页

提交意见反馈