groq

一个在开发环境中托管开源 GPT OSS 120B 模型的 Groq 更便宜的替代方案。

投资者Matt Shumer的一条疯传帖子通过有效展示快速推理的价值，极大地推动了Groq的业务，而Groq创始人Jonathan Ross多年以来一直难以传达这一点。

Groq创始人透露西海岸VC因羊群效应集体拒绝其融资，最终从东海岸VC获得资金。

Groq 创始人 Jonathan Ross 讨论了西海岸风投因羊群效应而错过投资 Groq，与之形成对比的是东海岸风投会进行独立分析。对话还提到了 Groq 与 NVIDIA 达成的 200 亿美元合作。

宣布一期播客节目，嘉宾是Groq创始人Jonathan Ross，他讨论了与NVIDIA的200亿美元合作以及他打造Groq的十年历程。

一位拥有25年编程经验、曾为Carmack的Keen AI实验室二号员工并在Groq设计LPU芯片的资深AI研究员Shawn Presser在X上公开求助找工作，表示如果找不到工作将面临无家可归，并愿意接受低于市场价的薪资。此事引发社区广泛关注。

Bash4LLM+ 是一个轻量级、无依赖的 Bash 封装器，用于 LLM API，提供与 Groq 及其他提供者的安全、可审计交互，具有动态模型列表、流式输出和可扩展附加功能等特点。

Groq融资6.5亿美元，在英伟达200亿美元的授权交易和人才挖角之后转向其neocloud业务，招聘新高管并扩展数据中心。

MeetMemory是一款基于Hindsight和Groq构建的工具，为AI赋予会议的永久记忆，使其能够即时回顾所有历史对话，无需手动搜索或记笔记。

尽管Groq将其技术授权给Nvidia，但公司实体保留了其数据中心运营和推理API，专注于快速的小模型推理，因此正在筹集6.5亿美元。

关于重塑 Groq LPU 的进展更新，重新设计的向量执行模块更好地支持重叠操作和自注意力。

分析海外免费AI推理生态，包括Groq等提供免费请求的服务，指出中国开发者对此信息差较大。

AI芯片初创公司Groq据报正在从现有投资者处融资6.5亿美元，以发展其推理云业务，此前该公司与英伟达达成了一项200亿美元的技术授权协议。

谷歌展示了Gemini Flash模型在TPU 8i上实现每秒600-1400 token的处理速度，与Groq的推理速度相当。