Ağrı'nın adı, tarihsel olarak birkaç kez değişiklik göstermiştir. İlk olarak "Karakilise" adıyla bilinen şehir, daha sonra "Ararat" ve "Karaköse" gibi isimlerle anılmıştır. Son olarak, bölgedeki en yüksek dağ olan Ağrı Dağı'ndan esinlenerek "Ağrı" ismi verilmiştir. Bu nedenle, şehrin adı Ağrı Dağı'na atıfta bulunarak verilmiştir.