Rezidencija je izgrađena za vrijeme namjesnikovanja Topal Šerif Osman-paše (1861-1869), i u narodu je poznatija pod imenom "Konak". Zgrada locirana na Bistriku završena je 1869. godine i za to vrijeme bila je jedan od najljepših i najviših objekata u Sarajevu. Sagradili su je Frane Linardov and Franjo Moise iz Splita. Tokom austro-ugarske vladavine, 1906. godine, poduzeti su određeni građevinski radovi na samoj zgradi, te je ispred nje izgrađen vrt sa dvije kamene lavovske figure. Neposredno nakon Sarajevskog atentata, general Potiorek je naredio vozaču da vozi do najbliže službene rezidencije, Konaka. Usput je bilo jasno da su i grofica i nadvojvoda pogođeni metkom. Grofica Chotek je preminula neposredno pred dolazak u Konak, dok je nadvojvoda Franz Ferdinand preminuo oko petnaest minuta kasnije, nešto nakon 11:00h po lokalnom vremenu. U jednoj od odaja "Konaka", pod vojnom stražom čuvani su posmrtni ostaci nadvojvode i grofice, neposredno prije nego što su tijela uz najviše vojne počasti otpremljena za Austriju radi pogreba.