标签
本文解释了为什么在LLM中,用 top-2 MoE 替换稠密前馈层,尽管减少了每个令牌的FLOPs,但由于多GPU环境中的通信开销,可能会增加推理延迟。
讨论是否存在人工智能无法处理的代码,提到即使是Anthropic公司最难的编程面试题,他们自己的人工智能也能解决。