Cross-attention, bir modelin iki farklı bilgi kaynağı arasındaki etkileşimi öğrenmesini sağlayan bir mekanizmadır. Özellikle doğal dil işleme ve bilgisayarla görme gibi alanlarda kullanılır. Cross-attention mekanizmasında, hedef diziden (örneğin, çeviri amacıyla üretilen bir cümle) gelen bilgiler, kaynak diziden (örneğin, çeviri yapılacak olan orijinal cümle) gelen bilgilerle ilişkilendirilir. Bu süreçte, her hedef elemanı için kaynak elemanlarının önem ağırlıkları hesaplanır ve bu ağırlıklar dikkate alınarak hedef elemanlarına yönelik daha bilgilendirici temsiller oluşturulabilir. Bu mekanizma sayesinde model, farklı veri dizileri arasında etkili bir şekilde bilgi aktarabilir.