- 发布于2024-12-18 11:23:24
清华团队提出RL专用神经网络优化器,性能位居榜首
在人工智能领域,强化学习(RL)一直被视为解决复杂序列决策问题的有力工具。这项技术不仅在电子游戏、棋类智能、机器人控制、自动驾驶等前沿领域大放异彩,还在大语言模型(LLM)的微调、对齐、推理等关键阶段发挥着重要作用。 然而,在深度神经网络作为函数近似器的背...赞 4评论浏览 1425 - 发布于2025-03-03 17:10:22
神经网络优化器进化论:从SGD到RAD,读懂AI训练的内功心法
当 ChatGPT-o3 以近乎博士生水平解答各类难题,当 DeepSeek-R1 在复杂推理任务中超越顶尖工程师,我们惊叹于大模型“智能涌现”的奇迹,然而鲜有人意识到:这些拥有千亿参数的“数字大脑”,本质上是从初始混沌状态,通过数万小时的反复训练渐渐成形...赞 4评论 1浏览 1013