streaming-inference

标签

Cards List
#streaming-inference

ADTGuard:面向大语言模型流式推理的自适应深度-时间防护机制

arXiv cs.AI ↗ · 2026-10-28 缓存

ADTGuard 提出一种自适应深度-时间安全机制,在流式推理中逐 token 检测风险,通过整合多层安全信号与渐进式 token 级训练目标,在仅 16M 可训练参数下达到或超越现有安全护栏的检测性能。

0 人收藏 0 人点赞
#streaming-inference

SSMCGM-Stream:一种用于个性化糖尿病管理的流式状态空间模型

arXiv cs.LG ↗ · 2026-10-22 缓存

SSMCGM-Stream 是一种流式状态空间模型,用于为 1 型糖尿病患者提供个性化实时血糖预测,支持常数时间推理、可解释的隐状态归因和反事实推理,并配备 SSMCGM-Agent 层,提供基于大语言模型的决策支持。在 T1DEXI 队列上的评估表明,其性能与强大的神经网络基线模型相当,同时降低了设备端部署的计算成本。

0 人收藏 0 人点赞
#streaming-inference

FD-VAD:面向流式全双工语音的语义端点检测

arXiv cs.CL ↗ · 2026-09-30 缓存

FD-VAD 提出一种无需 ASR、流式运行的语义端点检测方法,将因果音频窗口直接映射为 Continue/Stop 决策,适用于全双工语音智能体。该方法结合冻结的语音编码器与参数高效适配的语言模型,在 TurnBench 上取得了最先进(state-of-the-art)的 EOT 召回率。

0 人收藏 0 人点赞
#streaming-inference

LEAP:面向长时音视频感知的分块证据检索

Hugging Face Daily Papers ↗ · 2026-09-30 缓存

LEAP 提出了一种面向小时级音视频问答的分块证据检索框架,将定位与推理解耦,使上下文占用与录制时长无关,在 Qwen3-Omni-30B-A3B 基础上提升 4.5-16.8%,并可迁移至 MiniCPM-o 4.5。

0 人收藏 0 人点赞
#streaming-inference

nvidia/Nemotron-3-Diarization

Hugging Face Models Trending ↗ · 2026-09-01 缓存

Nemotron-3-Diarization是NVIDIA推出的一款开放权重说话人分离模型,用于真实世界音频分析,支持流式和离线推理,最多支持八个说话人,并且允许商业使用。

0 人收藏 0 人点赞
#streaming-inference

StreamPI: 视觉-语言-动作模型的流式多模态时序建模

Hugging Face Daily Papers ↗ · 2026-08-26 缓存

StreamPI 引入了一个流式多模态时序建模框架,用于视觉-语言-动作模型,通过指令锚定注意力和随机间隔训练来改进机器人操作,无需额外参数。

0 人收藏 0 人点赞
#streaming-inference

@UnTalNixon_exe: 忘掉GPU和百万美元集群吧。他们刚刚让全球最大的开源模型(Kimi K3 – 2.78万亿参数)……

X AI KOLs Timeline ↗ · 2026-08-04 缓存

一个名为 kimi-k3-in-c 的新工具,在单个 CPU 上以低至 8.24 GB 的内存运行 2.78T 参数的 Kimi K3 开源模型,从磁盘流式加载专家,并以每 token 10-32 秒的确定性输出运行。

0 人收藏 0 人点赞
#streaming-inference

@svpino: 这里有一个新的开源权重音频模型,你可以集成到你的应用中。我非常喜欢那种你可以托管的开源模型,这样……

X AI KOLs Following ↗ · 2026-07-28 缓存

Fish Audio S2 是一个新的开源权重音频模型,可在 Hugging Face 上获取。它提供两个模型分别处理时序和声学细节,推理速度快,并且有托管版本 S2.1 Pro,支持 83 种语言,成本低于 ElevenLabs。

0 人收藏 0 人点赞
#streaming-inference

增量BPE分词

arXiv cs.CL ↗ · 2026-06-01 缓存

本文介绍了一种增量式字节对编码(BPE)分词算法,该算法处理每个字节的时间复杂度为 O(log^2 t),支持流式场景下的高效部分分词,并相比现有实现实现了加速。

0 人收藏 0 人点赞
#streaming-inference

Dolphin-CN-Dialect:中文方言识别的重要性

arXiv cs.CL ↗ · 2026-05-12 缓存

Dolphin-CN-Dialect 是一款支持流式处理的 ASR 模型,通过基于温度的采样策略和重新设计的词元化方案提升了方言识别能力,在更小的模型规模下实现了具有竞争力的性能。

0 人收藏 0 人点赞
#streaming-inference

robbyant/lingbot-map

Hugging Face Models Trending ↗ · 2026-04-16 缓存

LingBot-Map 是一个前馈式 3D 基础模型,用于流式 3D 重建,采用几何上下文转换器架构,在超过 10,000 帧的长序列上实现最先进的性能,并具有高效的 ~20 FPS 推理速度。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈