jit-compilation

标签

Cards List
#jit-compilation

Maxwell:一种通过重写二进制文件来加速 Whisper 和 LTX-2 等 AI 模型的新模型 [D]

Reddit r/MachineLearning ↗ · 6小时前

Maxwell 是一种新模型,能在运行时动态重写 Whisper 和 LTX-2 等 AI 程序的二进制文件以加速其运行,并使用形式化验证来确认优化后的版本保持了正确性。

0 人收藏 0 人点赞
#jit-compilation

在回复生成中途将模型各层在 GPU 之间迁移(8 毫秒,无需重新预填充)

Reddit r/LocalLLaMA ↗ · 5天前

开发者展示开源推理引擎 jitllm,借助 JIT 内核生成与分页 KV 缓存,可在推理过程中把 Llama-3.2 模型各层在不同 GPU/CPU 之间动态迁移(最短 8 毫秒暂停、无需重预填充)。

0 人收藏 0 人点赞
#jit-compilation

@Ryrenz:重磅消息:DeepSeek 开源了 DeepGEMM——他们用于训练模型的 GPU kernel 库,从同样的显卡中挤出更多算力……

X AI KOLs Timeline ↗ · 2026-10-11 缓存

DeepSeek 开源了其训练模型所用的 GPU kernel 库 DeepGEMM,将 FP8/FP4/BF16 GEMM、融合 MoE 通信重叠、MQA 打分等核心算子统一到单一 CUDA 代码库中,通过 DeepJIT 运行时编译,官方称性能可达 H800 上 1550 TFLOPS,并已推出昇腾(Ascend)版本。

0 人收藏 0 人点赞
#jit-compilation

Java 版类 vLLM 框架声称在 NVIDIA GPU 本地推理中通过将 Java 编译为 CUDA 和 cuTile 达到 llama.cpp 约 90% 的性能

Reddit r/LocalLLaMA ↗ · 2026-10-08

TornadoVM 团队推出 jitLLM——一个 Java 版类 vLLM 推理框架,通过将 Java 编译为 CUDA 和 cuTile,在 NVIDIA GPU 上的本地推理中达到 llama.cpp 约 90% 的性能。

0 人收藏 0 人点赞
#jit-compilation

Show HN: Thoreau BASIC – 如果 BASIC 没有过时呢?

Hacker News Top ↗ · 2026-10-03 缓存

Thoreau BASIC 3.2 发布了一个现代化的 GW-BASIC 风格语言,具备 64 位内存、原生 x64 JIT 编译、多核 PARFOR、MIDI/波表音频,并且可以在 Windows 上或直接作为 UEFI 固件(无需操作系统)以完全相同的方式运行。

0 人收藏 0 人点赞
#jit-compilation

回复:关于在LuaJIT2中实现高效指令集模拟器的建议(2011年)

Lobsters Hottest ↗ · 2026-09-23 缓存

这个2011年的邮件列表讨论串探讨了编译器在优化解释器循环方面的挑战,以及LuaJIT2如何通过固定寄存器分配等汇编级技术实现更好的性能。

0 人收藏 0 人点赞
#jit-compilation

Metacarp

Lobsters Hottest ↗ · 2026-09-13 缓存

Metacarp 是一个为 Carp 编程语言打造的新编译器,它本身用 Carp 编写,具备模块化库、LLVM 后端以及增量式 JIT 编译功能。

0 人收藏 0 人点赞
#jit-compilation

25倍性能提升,三大优化

Lobsters Hottest ↗ · 2026-08-28 缓存

作者详细介绍了将scheme-rs Scheme实现转换为基于CPS的JIT编译器,并应用三项优化(包括β归约),以实现25倍的性能提升。

0 人收藏 0 人点赞
#jit-compilation

使用libgccjit为玩具解释器添加JIT编译

Lobsters Hottest ↗ · 2026-08-24 缓存

本教程演示了如何使用libgccjit为简单的基于栈的解释器添加JIT编译,包括代码示例和解释。

0 人收藏 0 人点赞
#jit-compilation

JIT编译代码在5μs内完成

Hacker News Top ↗ · 2026-08-23 缓存

文章探讨了AI辅助如何简化了创建具有亚微秒级编译时间的快速JIT编译器的过程,并通过一个基于Rust的正则表达式引擎示例进行了演示。

0 人收藏 0 人点赞
#jit-compilation

在 Rosetta 2 中打包恶意软件

Lobsters Hottest ↗ · 2026-08-19 缓存

本文基于 SummerCon 2026 的一场演讲,解释了如何使用 Apple 的 Rosetta 2 翻译层来打包恶意软件,涵盖了提前编译和即时编译技术。

0 人收藏 0 人点赞
#jit-compilation

Python 3.15 的超低开销解释器性能分析模式 – Ken Jin 的博客

Hacker News Top ↗ · 2026-07-15 缓存

Ken Jin 的博客介绍了 Python 3.15 新增的超低开销解释器性能分析模式,该模式利用双调度表为 JIT 编译器实现高效轨迹记录,相比之前的方法减少了性能下降。

0 人收藏 0 人点赞
#jit-compilation

@QingQ77: 一个用 Rust 和 C 编写的开源项目,通过 JIT 编译技术在 macOS 上直接运行 Linux 容器。 https://github.com/ricccrd/dd 它不需要虚拟机、hypervisor 或 Linux 内核,而是将…

X AI KOLs Timeline ↗ · 2026-07-02 缓存

dd is an open-source tool written in Rust and C that runs Linux containers on macOS without a VM by using JIT compilation to translate container instructions and handle syscalls in userspace. It implements the Docker Engine API, supports arm64 and x86-64 Linux images, and offers performance comparable to or better than VM-based solutions.

0 人收藏 0 人点赞
#jit-compilation

@loganthorneloe: This is a excellent explanation of JAX. Understanding how ML frameworks work internally gives you a massive advantage w…

X AI KOLs Timeline ↗ · 2026-06-22 缓存

本文详细解释了JAX的核心思想,包括函数纯度、不可变性、显式状态管理和JIT编译,帮助读者从面向对象思维转向函数式编程以优化机器学习性能。

0 人收藏 0 人点赞
#jit-compilation

@jino_rohit: 理解 torch.compile 堆栈 torch.compile 是一种加速 PyTorch 代码的技术。torch.compile 通过…

X AI KOLs Timeline ↗ · 2026-06-17 缓存

本文解释了 PyTorch 中的 torch.compile 堆栈,详述了从 API 到 Dynamo、FX 图、ATen 操作以及用于 JIT 编译的 Torch Inductor 的各个步骤。

0 人收藏 0 人点赞
#jit-compilation

Show HN: cuTile Rust:在Rust中编写安全、无数据竞争的GPU内核

Hacker News Top ↗ · 2026-06-16 缓存

NVIDIA Labs发布了cuTile Rust,这是一个基于瓦片的系统,用于用地道的Rust编写内存安全、无数据竞争的GPU内核。它将Rust的所有权模型扩展到GPU内核,通过JIT将Rust的AST编译为GPU代码,并实现接近原生CUDA的性能。

0 人收藏 0 人点赞
#jit-compilation

zeroserve 的 Caddy 兼容模式:吞吐量提升 3 倍,延迟降低 70%

Hacker News Top ↗ · 2026-06-14 缓存

zeroserve 现已支持 Caddy 兼容模式,通过将 Caddyfile 进行即时编译 (JIT) 为 eBPF 和原生机器码,实现了 3 倍吞吐量和 70% 延迟降低。

0 人收藏 0 人点赞
#jit-compilation

Symbolica 2.0: 面向Python和Rust的可编程符号

Lobsters Hottest ↗ · 2026-06-05 缓存

Symbolica 2.0是面向Python和Rust的符号计算框架的重大版本,引入了可编程符号、改进的Rust API、更丰富的输出格式(HTML、Typst、彩色)、用于求值的JIT编译以及更好的易用性。

0 人收藏 0 人点赞
#jit-compilation

让 Julia 达到 C++ 的速度(2019)

Hacker News Top ↗ · 2026-05-06 缓存

这是 BYU FLOW Lab 于 2019 年发布的一篇博客文章,以真实的空气动力学应用(涡粒子法)作为基准测试,探讨如何优化 Julia 代码以匹配 C++ 的性能。作者分享了在 Julia 中实现高性能计算的经验,涵盖类型声明、JIT 编译以及代码优化技巧。

0 人收藏 0 人点赞
← 返回首页

提交意见反馈