Historie jezuitské koleje se začala psát roku 1591, kdy byla 15. června po předchozím potvrzení papežem vyhotovena zakládací listina. Hned od počátku zde působilo také jezuitské gymnázium. O rok později byla při koleji založena dokonce i univerzita, jež měla stejná práva a výsady jako podobné univerzity v Evropě. Chomutov se tímto stal univerzitním městem.
Duchovním otcem koleje byl Jiří Popel z Lobkovic, nejvyšší hofmistr českého království, jeden z nejvyšších zemských politiků. Ten pozval do města jezuity jako součást svých úporných snah o rekatolizaci protestantského města, jež mu patřilo. To by se mu nejspíše i podařilo, kdyby neupadl u Rudolfa II. v nemilost. Následně byl zatčen a všechen jeho majetek propadl císaři. V důsledku toho skončila v Chomutově i univerzita, gymnázium však zůstalo zachováno.
Výstavbu areálu narušilo nejen zatčení Jiřího Popela z Lobkovic, ale i pozdější vyhnání jezuitů z Chomutova v roce 1618. Ti se později vrátili, ale probíhající Třicetiletá válka a po ní následující chudoba oddálily dostavbu celého areálu až do druhé poloviny 17. století. Konečná stavební fáze se rozběhla v roce 1663. Architektonicky se jí ujal Carl Lurago, jenž za několik let dokončil stavbu kostela sv. Ignáce, Ignác z Loyoly byl zakladatel řádu, a následně byla dostavěna i vlastní kolej.
Ta si prošla bouřlivou historií. V dnešní knihovní části byla do poloviny 20. století kasárna, aby tam byla později přestěhována knihovna. Původní dům pro chudé studenty, se stal později sídlem vlastního gymnázia, a to až do roku 1931. Po intermezzu přítomnosti vojenské posádky zde bylo v 70. letech otevřeno chomutovské muzeum, které zde sídlí dodnes.
