2 月 12 日，谷歌上线 Gemini 3 Deep Think 的重大升级。这次升级的背后，也站着一位在 2025 年 9 月因为不满前东家 Anthropic 言论而辞职加入谷歌的清华物理系传奇校友姚顺宇。

作者：腾讯广告推荐技术团队，周超博士1，X开源内容推荐Feed on X召回、精排推理、策略代码。参数配置小应是简化版本。 2，召回是双塔模型，用户塔输入是【用户特征，S长度的行为序列】，内容塔是帖子标识与帖子作者。用户塔是双层的Causal ...

IT之家 2 月 8 日消息，当地时间 2 月 6 日，据外媒 The Decoder 报道，谷歌、亚马逊、Meta 以及微软计划在 2026 年 合计投入 6100 亿美元 （IT之家注：现汇率约合 4.24 万亿元人民币），用于数据中心和 AI 基础设施建设。

本研究针对单细胞转录组数据中细胞身份注释依赖人工经验、现有深度学习模型缺乏多尺度可解释性的问题，开发了融合生物先验知识的图神经网络模型Cell Decoder。该模型通过整合蛋白质相互作用、基因-通路映射和通路层级信息，构建多尺度生物网络，结合 ...

随着5G 国际标准的出炉，Polar码顺利入选控制信道编码方案，世界上各大通信设备生产商便开始基于标准设计基站和终端产品。 我们明白，从纯算法到实现工程化，中间还有很长一段路要走。一方面，我们需要保证算法的性能良好；另一方面，便于硬件实现。

Transformer架构自诞生以来，便以其强大的灵活性和模块化设计，深刻地影响了人工智能领域的发展。从最初的BERT到如今的GPT-4，不同的结构变体在各自擅长的领域大放异彩。本文将深入探讨Transformer的四大主流结构，并重点分析Decoder-only结构在大语言模型中的崛起 ...

在上一篇文章中介绍了大模型的嵌入和向量，这一篇来介绍一下大模型的经典架构之Transformer架构的编码器和解码器。 像很多人一样，一直在奇怪Transformer架构经过多层编码和解码之后就能处理输入数据并生成新的数据；所以，今天我们就来深入了解一下Transformer ...

IT之家 10 月 3 日消息，OpenAI 在 10 月 1 日举办的 DevDay 活动日中，宣布推出了 Whisper large-v3-turbo 语音转录模型，共有 8.09 亿参数，在质量几乎没有下降的情况下，速度比 large-v3 快 8 倍。 Whisper large-v3-turbo 语音转录模型是 large-v3 的优化版本，并且只有 4 层解码器层 ...

解码器是将编码输入和先前生成的标记转换为上下文感知输出的关键所在。 可以把它想象成艺术家，从草图中绘制出最终的画作。🖌️ STEP 1 - PROCESSING THE TARGET SEQUENCE STEP 1.1 Target Sequence Embedding 解码器首先对需要处理的序列进行嵌入，将原始数据转换为其能够 ...

众所周知，目前主流的 LLM，都是基于 Causal Attention 的 Decoder-only 模型（对此我们在《为什么现在的LLM都是Decoder-only的架构？》也有过相关讨论），而对于 Causal Attention，已经有不少工作表明它不需要额外的位置编码（简称 NoPE）就可以取得非平凡的结果。然而 ...

微软 & 清华最新研究，打破 GPT 系列开创的 Decoder-Only 架构 —— 提出 Decoder-Decoder 新型架构，名为 YOCO（You Only Cache Once）。 YOCO 仅缓存一次键值对，可大幅降低 GPU 内存需求，且保留全局注意力能力。一张图来看 YOCO 和标准 Transformer 的比较。 在处理 512K 上下文 ...