Attention Residuals

Transformerの性能を10%向上！Attention Residualsによる実験結果とローカルLLMへの応用を完全公開。Wikipediaコーパスで検証済み。GPUメモリ16GBでも実現可能。