Aydıntepe ve çevresinde eski çağlardan günümüze ulaşan yerleşim izleri görülmektedir. Yerleşimin 5 km kuzeybatısındaki "Çovrang Yayla Yerleşmesi"nde yapılan yüzey araştırmalarında Ortaçağ ve Yakınçağ dönemi keramikleri bulunmuştur. Aydıntepe merkezinde, güneybatıda yer alan ve büyük bölümü mezarlık olarak kullanılan höyükte bulunan seramik kalıntıları, burada Eski Tunç, Demir Çağ, Roma Dönemine ait yerleşimi göstermektedir. İlçenin hemen altında tüf anakayanın oyulmasıyla inşa edilen ve Ortaçağ'a tarihlenen "Aydıntepe Yeraltı Şehri" yer almaktadır. M.Ö 3000-2500 yılları arasında Aydıntepe ve çevresi Hititlerin egemenliğinde bulunmuştur. Sonrasında Urartular, İskitler, Romalılar, Persler ve Bizanslılar' ın egemenliğinde kalmıştır. 1071 Malazgirt Meydan Muharebesi sonrasında Türkler' in egemenliğine geçmiş 1072-1202 yılları arasında bazen Saltukluların bazen de Danişmendlilerin hakimiyetinde kalmıştır. 1202 yılında Selçuklular Saltuklu Devletine son verince Bayburt ve çevresiyle birlikte Aydıntepe'yi de hakimiyetlerine geçirmiştir. Sonraki dönemde İlhanlıların, Akkoyunluların ve Safevilerin denetiminde kalmış, 1514 Çaldıran Savaşından sonra Osmanlıların hakimiyetine girmiştir. Osmanlı döneminde "Hart" ismiyle Bayburt kazasına bağlı bir nahiye oldu. 1916 yılında Rus kuvvetlerince ele geçirilen yerleşim 21 Şubat 1918 yılında yeniden geri alındı. 26 Ekim-29 Aralık 1919 tarihleri arasında meydana gelen ve "Hart Olayı" olarak da bilinen Şeyh Eşref ayaklanması burada meydana gelmiştir. 1957 yılında belediye teşkilatı kuruldu ve Aydıntepe adını aldı. 1987 yılında ilçe olan Aydıntepe önce Gümüşhane iline, 1989 yılında il olan Bayburt' a bağlanmıştır.