1959年，六安市档案馆成立。1980年9月，成立六安地区档案局，与地区档案馆一套机构、两块牌子。2000年3月，六安撤地设市后，六安地区档案局（馆）更名为六安市档案局（馆），2019年机构改革后，原六安市档案局（馆）行政职能划入市委办公室，剥离行政职能后的六安市档案馆单独设置，为市委直属事业单位。

六安市新档案馆于2017年5月正式建成并投入使用。档案馆建筑面积16000平方米，是集档案安全保管基地、爱国主义教育基地、档案利用中心、政府信息查阅中心和电子文件中心“五位一体”的开放式、现代化新型档案馆。目前，馆藏183个全宗，纸质档案25.95万卷、37.19万件，照片档案5.16万张，音视频档案435盘，实物档案2051件，图书资料3.6万册，馆藏结构更加合理，质量更加优化。