热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币,引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
您可以在没有额外训练的情况下将AI推理速度提高3倍。
来自SJTU和华为的研究人员为此推出了LoPA!
他们的新方法“前瞻并行解码”是一种即插即用的技巧。它智能地预测生成多个令牌的最佳顺序,而不是逐个生成,从而解锁大规模并行计算。
它为D2F-Dream模型提供了强大的动力,使其每步输出超过10个令牌,达到每秒超过1070个令牌——在编码(MBPP)和数学(GSM8K)基准测试中显著超越其他顶级推理系统。
LoPA:通过前瞻并行解码扩展dLLM推理
论文:
代码:
博客:
我们的报告:
📬 #PapersAccepted 由极智信

热门
排行
收藏
