Fillimi i Arkivave si institucion në Kosovë daton në fund të Luftës së Dytë Botërore, respektivisht në vitin 1948, kur në kuadër të Drejtorisë Krahinore të Arsimit dhe Kulturës u themelua Qendra Arkivore, e cila kujdesej për mbrojtjen dhe regjistrimin e material arkivor. Më 20 mars të vitit 1951, me Vendimin e Këshillit Krahinor  u themelua Arkivi Shtetëror i Kosovës dhe kështu filloi funksionimi i shërbimit arkivor në Kosovë. Ky institucion deri në vitin 1965 ishte nën mbikëqyrjen e drejtpërdrejtë dhe financimin e Këshillit Ekzekutiv Krahinor të Kosovës. Pas vitit 1968 filloi të krijohej arkiva rajonale dhe komunale, me të cilën filloi edhe themelimi i një rrjeti arkivor në territorin e Kosovës: kështu arkivat historik  ndërkomunale të Prizrenit, Pejës, Mitrovicës, Gjilanit, Prishtinës dhe ai  Gjakovës u themeluan. Pas heqjes së autonomisë së Krahinës së Kosovës nga Republika Socialiste e Serbisë (SRS) dhe vendosjes së masave të dhunshme në të gjitha institucionet e vendit, rrjedhimisht Arkivat e Kosovës  u administruan nga RSS. Pas përfundimit të luftës së fundit në Kosovë (1998-1999), Arkivat e Kosovës u menaxhuan  nga institucionet e Kosovës. Fillimisht, shërbimi arkivor në Kosovë ishte në kuadër të Ministrisë së Kulturës, Rinisë dhe Sporteve, por bazuar në përvojat evropiane, Ligji nr. 02 / L-80, më 13 korrik 2006, administrimi i arkivave brenda Qeverisë së Kosovës merr një formë të re organizimi: Arkivi organizohet në Agjencinë Shtetërore në kuadër të Zyrës së Kryeministrit deri më 31 dhjetor 2016, ndërsa me vendim të Qeverisë nga 1 janari 2017, ajo  vepron në kuadër të Ministrisë së Kulturës, Rinisë dhe Sportit.