22580: от GPT-2 до Kimi K3, объяснение
Полный перевод X Article о пути архитектур LLM от GPT-2 к Kimi K3: KV cache, linear attention, DeltaNet, KDA, MoE, MLA и AttnRes.
Topic
Architecture
A collection of 1 issue