Gradient Descent, makine öğrenimi ve optimizasyon problemlerinde kullanılan bir iteratif algoritmadır. Temel amacı, bir kayıp fonksiyonunu minimize etmektir. Bu, genellikle bir modelin parametrelerini optimize etmek için yapılır. Algoritma, fonksiyonun eğimini hesaplayarak ve bu eğim boyunca adım atarak daha düşük kayıp değerlerine ulaşmaya çalışır. Adım büyüklüğü, öğrenme oranı olarak adlandırılır ve algoritmanın hızını ve doğruluğunu etkiler. Gradient Descent, genelde konveks fonksiyonlar için kullanılır ve yerel minimum bulmayı hedefler.