Pre-training, bir yapay zeka modelinin geniş ve genel bir veri kümesinde eğitilerek temel bilgi ve yetenekler kazanmasını sağlama sürecidir. Bu süreç, modelin daha sonra belirli bir görev veya uygulama için ince ayar (fine-tuning) yapılmasına imkan tanır. Genellikle büyük ve çok çeşitli veri kümeleri kullanılarak gerçekleştirilen pre-training, modelin dil yapısını, desenleri ve genel dünyadaki bilgileri öğrenmesini sağlar. Pre-trained modeller, daha az veriyle daha hızlı ve verimli özel görevler için adapte edilebilir.