标签:Hyena

Hyena成下一代Transformer?StripedHyena-7B开源:最高128k输入,训练速度提升50%

最近几年发布的AI模型,如语言、视觉、音频、生物等各种领域的大模型都离不开Transformer架构,但其核心模块「注意力机制」的计算复杂度与「输入序列长度」呈...