Transformer, doğal dil işleme (NLP) alanında kullanılan bir yapay zeka mimarisidir. İlk olarak 2017 yılında Vaswani ve diğer araştırmacılar tarafından “Attention is All You Need” başlıklı makalede tanıtılmıştır. Transformer modeli, metin verisini işlemek için katmanlı bir yapıya sahiptir ve dikkat mekanizmasını kullanarak veri ögeleri arasındaki ilişkileri öğrenir. Bu mimari, dil çevirisi, metin özeti oluşturma ve dil modelleme gibi çeşitli NLP görevlerinde önemli başarılar elde etmiştir. Özellikle BERT ve GPT gibi modeller, Transformer mimarisine dayanmaktadır.