Po vsej verjetnosti naj bi grad Švarcenštajn v prvi polovici 14. stoletja pozidali Celjski grofje, glede na to da so to zemljišče dedovali po sorodnikih, po koroški grofovski rodbini Vovbrških grofih. Čas nastanka potrjujejo tudi arhitekturne značilnosti, ki so gotske.

Grad naj bi zgradili za povezavo med svojimi posestmi v Šaleški dolini in starim zemljiškim jedrom okoli gradu Žovnek, ki stoji nad Žovneškim jezerom v Braslovčah; nekoč eden največjih gradov na Slovenskem, imenovan po svobodnih gospodih Žovneških, poznejših Celjskih grofih. Grad Švarcenštajn zanje ni imel večjega pomena in so ga po nekaj desetletjih začeli podeljevati v fevd svoji viteški klienteli. Grad je pod imenom Švarcenštajn (Swarczenstein) posredno omenjen leta 1360, ko se je po njem imenoval eden vodilnih celjskih vitezov Ott Flaming de Swarczenstein, izrecno pa šele leta 1428.

Po letu 1436 je grad do danes zamenjal precej lastnikov, leta 1635 so ga v kmečkem uporu zavzeli celo kmetje. Po navedbah iz člankov Wikipedije, danes to zanemarjeno dvonadstropno stavbo počasi obnavlja zasebnik, ki jo je kupil sicer poceni od velenjske občine, vendar z obvezo, da jo bo obnavljal sam. Današnja stavba je v svojih temeljnih sestavinah iz leta 1523.

*strnjeno iz več prispevkov na Wikipediji.