在机器学习的世界里，有一个函数几乎无处不在： Softmax。它将神经网络最后一层的打分变成一组概率，让模型能用“我有多确定”来回答问题。乍看，这只是一个便利的数学小工具；然而当我们把目光移向 19 世纪的统计力学，再回到 20 世纪的信息论，再 ...

Deepmind 出新招，ReLU 尽展优势。 Transformer 架构已经在现代机器学习领域得到了广泛的应用。注意力是 transformer 的一大核心组件，其中包含了一个 softmax，作用是产生 token 的一个概率分布。softmax 有较高的成本，因为其会执行指数计算和对序列长度求和，这会使得 ...

这篇论文针对增量学习（IL）中的灾难性遗忘问题，提出了突破性解决方案。作者发现标准Softmax交叉熵损失（softmax cross-entropy loss）存在非可识别性缺陷，会导致任务间权重失衡。通过提出两种创新策略——不平衡不变蒸馏损失（imbalance-invariant distillation loss）和 ...

来自商汤、上海人工智能实验室等机构的研究者用线性 COSFORMER 来取代 transformer 中的 softmax 注意力机制，在多项任务上达到最优。 Transformer 在自然语言处理、计算机视觉和音频处理方面取得了巨大的成功。作为其核心组件之一，softmax 注意力有助于捕获长程依赖 ...

「我发现注意力公式里有个 bug，八年了都没有人发现。所有 Transformer 模型包括 GPT、LLaMA 都受到了影响。」 昨天，一位名叫 Evan Miller 的统计工程师的话在 AI 领域掀起了轩然大波。 我们知道，机器学习中注意力公式是这样的： 自 2017 年 Transformer 问世，这个公式 ...