@Snow_Wo1f: 很难想象这么个小东西能运行70B的模型,然后在无限token的环境下轻松生成各种AI被封禁的内容以及黄片

X AI KOLs Timeline 产品

摘要

A user comments on a small device that can run a 70B model and generate uncensored AI content including pornography.

很难想象这么个小东西能运行70B的模型,然后在无限token的环境下轻松生成各种AI被封禁的内容以及黄片🤔 https://t.co/CKsgvGw4oV
查看原文
查看缓存全文

缓存时间: 2026/06/03 03:41

很难想象这么个小东西能运行70B的模型,然后在无限token的环境下轻松生成各种AI被封禁的内容以及黄片🤔 https://t.co/CKsgvGw4oV

相似文章

@NFTCPS: 4GB显存跑70B大模型?这事儿真成了! AirLLM玩了个骚操作——分层推理,不一次性把模型怼进显存,而是一层层加载、算完就扔,硬生生把巨无霸塞进小破卡。 最骚的是:100%开源,白嫖警告 https://github.com/0xSo…

X AI KOLs Timeline

AirLLM 是一个完全开源的工具,通过分层推理技术(逐层加载并立即释放显存),使得 70B 大语言模型可在仅 4GB 显存的 GPU 上运行,无需量化、蒸馏或剪枝,并已支持 Llama3.1 405B 在 8GB 显存上运行。

@AYi_AInotes: 全网都在吹日本Fugu跑分超GPT,但我敢说99%的人没看懂它真正炸场的地方。 首先这玩意儿根本不是什么超大单体大模型, 它全身上下只有0.6B参数,本职工作就其实就是个AI项目经理, 简单任务自己处理,复杂任务自动拆分,从全球顶级模型池…

X AI KOLs Timeline

Sakana AI 发布 Fugu,一个仅 0.6B 参数的多智能体编排系统,通过智能任务拆分和模型协作达到前沿性能,绕开了传统的参数量扩增路径,标志着多智能体编排正式成为可用的生产力工具。

@Xudong07452910: Hacker News 上有一篇评论区火了的文章:Qwen 3.6 27B 是本地开发的理想选择。 核心发现是:密集参数模型、原生支持 256k 上下文,在 MacBook Max M5 上跑 Q8_0 量化版能达到 30 tokens/…

X AI KOLs Timeline

Qwen 3.6 27B is a dense 27B model that achieves impressive performance on local hardware with 256k context, running at 30 tokens/s on MacBook Max M5 and 50 tokens/s on RTX 5090, and is considered by some as the first local model with true general intelligence.