Kultuurimälestiste riikliku registri järgi valmis Pika ja Laia tänava vahele äri- ja eluhoone 1912. aastal arhitekt Hans Schmidti projekti järgi. Hoone kuulus Suurbritannia kodanikule William Tulipile.

Tallinnasse Peeter Suure Merekindluse rajamisel otsiti lisaks uute hoonete ehitamisele ka juba olemasolevaid. Üürimaja leiti olevat sobilik merekindluse juhtkonna elamuks ning osteti 1917. aasta jaanuaris Vene riigile.

1920. aastal Eesti Vabariigi valdusesse läinud hoone anti üle sõjaministeeriumile. Lisaks ministeeriumile oli hoones ka sõjaväe peastaap ning Vabadussõja Ajaloo Komitee ruumid – kontor, raamatukogu ja soklikorrusel arhiiv.

9.oktoobril anti hoone üle NKVD-le ning seal hakkas tööle Nõukogude repressiivaparaat. Saksa ajal paiknes seal Eesti Omavalitsuse sisedirektoorium.

Nõukogude võimu taaskehtestamisel endine tegevus jätkus. Enamik 1940.-50. aastatel poliitilistel põhjustel kinnipeetutest toodi "Pagari maja" keldritesse ning saadeti sealt enamasti edasi Patarei eeluurimisvanglasse või Lasnamäe tapivanglasse.

Hoones on ülekuulamisel käinud paljud avaliku elu tegelased, teiste seas kirjanik Jaan Kross, dissidendid Lagle Parek, Tiit Madisson jt.

Pagari tänava maja koridoris seisis inimesekõrgune puidust kapp, kuhu kinnipeetavad suleti vahetult enne ülekuulamist. Endine poliitvang Enn Tarto on meenutanud, kuidas teda selles kapis kinni hoiti. Kapis ei saanud ei istuda ega astuda.

Pärast 1991. aastat anti hoone politseiameti käsutusse. Hoone läks müüki 2008. aasta kevadel, kui valitsusel olid näpud põhjas ja riigieelarve vajas lappimist.

Pärast mitut ebaõnnestunud enampakkumist ostis maja Tolaram Gruppi kuuluv Phoenix Asset Management OÜ, kes maksis selle eest 46 miljonit krooni.