Kog 进一步深挖 GPU 推理性能

# Kog 正深入挖掘 GPU 的推理潜能 | TechCrunch 更快的AI推理（https://techcrunch.com/2026/07/03/artificial-intelligence-definition-glossary-hallucinations-guide-to-common-ai-terms/#inference）竞赛正在进行中，市场对Cerebras及其专用芯片在5月IPO首秀中给予了热烈欢迎（https://techcrunch.com/2026/05/14/cerebras-raises-5-5b-kicking-off-2026s-ipo-season-with-a-bang/）。但法国初创公司Kog（https://www.kog.ai/）押注的是，传统GPU仍有大量性能可以榨取。 这家初创公司在5月凭借一篇技术预览（https://blog.kog.ai/real-time-llm-inference-on-standard-gpus-3-000-tokens-s-per-request/）登上了Hacker News首页（https://news.ycombinator.com/item?id=48321076），旨在证明“在企业已经拥有的标准数据中心GPU上实现极速单请求解码是可能的”——其演示使用的是AMD MI300X和NVIDIA H200 GPU。 有些人失望地发现这并不适用于我们笔记本电脑中的GPU，但其他人看到了其中的潜力。随着推理速度和成本成为关键瓶颈，Kog承诺通过软件优化在现有硬件上解锁新能力，吸引的不仅仅是围观者（https://x.com/Kog__AI/status/2062870822004387897）。“我们有200个切实的商业线索，”CEO Gaël Delalleau告诉TechCrunch。 基于早期反馈，这位独立创始人预计软件工程将成为第一个用例。资深的Claude Code用户很清楚，他们有时需要等待数小时才能获得结果。Anthropic自己也明白速度就是金钱，因此为Claude的Fast Mode收取了价格倍数（https://platform.claude.com/docs/en/build-with-claude/fast-mode）的费用。 Kog希望瞄准那些因这些延迟而望而却步的客户——他们通常因为专业任务而依赖AI工作流。Delalleau表示，这家初创公司还有一些设计合作伙伴，让用户通过一个提示词就能生成游戏和应用，而Kog推理引擎（Kog Inference Engine，KIE）带来的更快结果意味着更多收入。 该公司意识到这个市场还不够成熟。在观察需求的同时，Kog了解到其潜在客户并不准备对小型模型进行微调。“这就是为什么自发布以来，我们一直全力专注于加速更大模型的开发，以满足我们看到的客户需求。” 这意味着Kog要兑现其“30倍更快LLM推理”的承诺，还需要跨越巨大的鸿沟。其演示展示了令人印象深刻的每秒3,000个请求令牌（TPS）——但使用的是一款仅约20亿参数的专用小模型，即现已开源的（https://x.com/clementdelangue/status/2069839095577084364）Laneformer 2B（https://huggingface.co/kogai/laneformer-2b-it）。 与怀疑论者的看法相反，Delalleau对同样的方法也能在LLM上发挥同样效果充满信心——尽管LLM的规模对推理芯片来说可能是个挑战。“GPU有着光明的未来，”他说。在Kog的CEO看来，认为GPU不适合解码的想法已经成为一种误解；新一代GPU拥有越来越大的内存带宽，只待被解锁。 Kog并非唯一认为软件优化可以帮助GPU超越标称性能的公司。同样来自法国的ZML（https://techcrunch.com/2026/07/08/hot-french-startup-zml-releases-free-product-to-speed-inference-across-lots-of-ai-chips/）发布了与硬件无关的软件，绕过Nvidia的CUDA以支持跨竞争芯片的快速推理。但Delalleau表示，Kog更类似于斯坦福大学的实验室Hazy Research（https://hazyresearch.stanford.edu/），只是其对GPU加速的关注层面更深。 Delalleau本人并非研究员，他的第一家初创公司——TechCrunch50 2009年的参与者Stribe（https://techcrunch.com/video/stribe-presentation-at-tc50/）——与现在这家公司毫无关系，唯一的联系是他的前联合创始人、如今的风险投资人Kamel Zeroual，其所在的风投Varsity VC（https://techcrunch.com/2024/02/07/varsity-is-a-new-early-stage-vc-fund-based-in-paris/）共同领投了Kog的种子轮。但这家公司深层次的技术关注源于他独特的背景。 他在法国巴黎综合理工学院（École Polytechnique）学习固态物理，之后从事进攻性网络安全工作——也就是所谓的白帽黑客。据Delalleau说，这塑造了他现在鼓励团队采用的心态。在科学方面，“有一种理解物理定律和GPU定律的心态，以便最大限度地利用它们。” 至于黑客技术，这位DEF CON CTF竞赛（https://defcon.org/html/links/dc-ctf.html）的四次决赛选手说，这教会了他“在非常低的层次上逆向工程——深入到汇编语言和二进制代码——去理解事物是如何运作的，并尝试用它来实现一个它未必被设计用来达成的目标。” 这种方法的缺点是它非常依赖手动操作且耗时。“对于每一款新GPU，我们都会投入数周甚至数月的时间，真正深入研究细节，在该硬件上进行GPU工程研究。”对于一个11人的团队来说，这限制了Kog可以支持的芯片数量，至少在可预见的未来是这样。 从长远来看，Kog希望将其方法论注入基于智能体的流水线中，从而支持更多芯片和模型。随着欧洲寻求在这两个方向上建立自身能力，这可能会为这家初创公司带来主权方面的顺风——它已经得到了Scaleway（https://www.linkedin.com/posts/kogai_deeptech-generativeai-pretraining-activity-7421825117200052224-uEJu/）的支持，并获得了法国Bpifrance（https://techcrunch.com/2025/02/07/bpifrance-to-invest-10b-in-french-ai-ecosystem-by-2029/）和French Tech 2030（https://fr.wikipedia.org/wiki/French_Tech_2030）计划（法语页面）的资助。 不过目前，Kog需要向世界证明其方法在LLM上也行得通。这也是获得更多融资的关键。“一旦我们以10倍速度实现了第一个主要模型——我认为这将在9月完成——我们就能开始展示客户吸引力，并以此启动A轮融资，”Delalleau说。 *当您通过我们文章中的链接购买商品时，我们可能赚取少量佣金（https://techcrunch.com/techcrunch-affiliate-monetization-standards/）。这不影响我们的编辑独立性。* Anna Heim是一位撰稿人和编辑顾问。 您可以通过发送电子邮件至annatechcrunch [at] gmail.com联系或核实Anna的外联信息。 自2021年起担任TechCrunch的自由撰稿记者以来，她报道了大量与初创公司相关的主题，包括AI、金融科技与保险科技、SaaS与定价，以及全球风险投资趋势。 截至2025年5月，她为TechCrunch的报道聚焦于欧洲最有趣的初创公司故事。 Anna曾在各种规模的行业活动中主持小组讨论并进行台上采访，包括TechCrunch Disrupt、4YFN、South Summit、TNW Conference、VivaTech等大型科技会议。 她曾任The Next Web的LATAM与媒体编辑，也是初创公司创始人和巴黎政治学院（Sciences Po Paris）校友，精通多种语言，包括法语、英语、西班牙语和巴西葡萄牙语。 查看简介（https://techcrunch.com/author/anna-heim/）