1701-1718  Výstavba barokového kostola - bez veží

1718-1722  Kostol dokončený s vežami a priečelím

Jednoloďový barokový kostol halového typu s kryptou, s dvomi nárožnými vežami je ukončený svätyňou s rovným záverom s dvojpodlažnou sakristiou. Druhé nadzemné podlažie sakristie slúžilo ako oratórium pre mníchov.

Loď je zaklenutá dvomi poľami krížových klenieb na pásoch dosadajúcich na mohutné členité prístenné piliere s mohutnými rímsami a jednou krížovou klenbou nad svätyňou. Na obidvoch stranách lode sa nachádzajú dve bočné kaplnky. Okná sú iba na juhozápadnej stene kostola, severovýchodná je plná a prilieha k nej budova bývalého kláštora. Pôvodne boli v sakristii aj dvere do kláštornej chodby.

Trinitári chrám zasvätili sv. Trojici, ktorej obraz bol aj na hlavnom oltári. Z čias výstavby sa zachovali pôvodné barokové lavice, drevená polychrómovaná kazateľnica, v sakristii časť mobiliáru a pôvodný vstupný pravouhlý portál, hore s rovnou rímsou zvonovitého profilu.

Bočné oltáre (1766) majú drevenú stĺpovú architektúru, vyhotovil ich laický brat Hypolit z ilavského kláštora. Zdobia ich umelecky hodnotné diela rezbárskeho majstra Antona Millnera z Lednice.

Na oltári s obrazom sv. Anny sa nachádza aj plastika sv. Anny a tiež sv. Joachima (rodičia Panny Márie). Na oltári s replikou vzácnej ikony - Panny Márie Brnenskej sú sochy trinitárskych svätcov, zakladateľov rádu. Vysvätenie kostola previedol nitriansky kanonik, archidiakon a trenčiansky farár Adam Gyӧri.   

Po odchode trinitárov z Ilavy (pôsobili tu viac ako 80 rokov) a zmenou na farský kostol, došlo k stavebným úpravám, ktoré je možné rozdeliť do 5 stavebných etáp. V sakristii zamurovali vchod do kláštora, zrušili kláštorný chór a upravili čelnú stenu s hlavným oltárom. Nový hlavný oltár má drevené tabernákulum ukončené polychrómovaným baldachýnom s pozlátenou plastikou pelikána na vrchole.

Na čelnej stene nad oltárom je závesný obraz Všetkých svätých - nových patrónov kostola - rámovaný iluzívnou oltárnou architektúrou (pravdepodobne 1788). Maľované sochy sv. Petra a Pavla dopĺňa v nadstavci iluzívneho oltára motív  Sv. Trojice (pripomenutie patrocínia z čias trinitárov). Pôvodný organ z čias výstavby kostola nahradili v roku 1950 novým od firmy Tuček Kutná Hora, podľa návrhu E. Zavarského. V roku 2015 prešiel kompletnou rekonštrukciou.

KLÁŠTOR RÁDU NAJSVäTEJŠEJ TROJICE - TRINITÁRI

Uhorský kráľ Leopold I. predal Ilavský hrad s hradným  panstvom za 80 000 zlatých grófovi Siegfriedovi  Breunerovi zo Stϋbingenu. Ten si na kúpu požičal od ostrihomského arcibiskupa Juraja Széchényiho a niektoré pramene uvádzajú, že arcibiskup tieto majetky dostal do zálohy za vypožičané peniaze. Podľa poslednej vôle Juraja Széchényiho bola v roku 1694 spísaná zakladacia listina KLÁŠTORA RÁDU TRINITÁROV V ILAVE, prvého v Uhorsku. Želal si usadiť rehoľníkov - trinitárov na  panstve v Ilave, aby vo svojich sv. omšiach na neho pamätali a prosili za spásu jeho duše...

Trinitári pochádzali väčšinou zo Španielska a Rakúska, vykupovali kresťanov z tureckého zajatia a vykonávali aj ošetrovateľskú činnosť.

Usadili sa v objekte horného hradu. Tento opravili a začali s výstavbou barokového dvojvežového kostola (1701-1718) s vežami (1718-1722), neskôr pristavili budovy kláštora a nemocnice (1753). Pri nich mali mnísi veľkú záhradu a na vnútorných nádvoriach tzv. rajské dvory. Prvý predstaviteľ ilavského rehoľného domu bol P. Jozef a Sacramento. V kláštore vychovávali i rehoľných novicov, už v r. 1695 tu vznikol kurz filozofie, neskôr filozofické collegium - vysoká škola filozofická.  

Pod kostolom sa nachádza priestranná krypta, na jej vybudovanie trinitári využili hlbokú hradnú priekopu okolo horného hradu, s použitím resp. zapojením starších murovaných konštrukcií hradu. Táto terénna situácia bola plne využitá a poslúžila pre vznik krypty pod celým kostolom. Sú tu pochovaní niektorí členovia rádu, časť donátorov kostola a miestnej šľachty.

V roku 1783 bol kláštor panovníkom Jozefom II. zrušený. Po odchode trinitárov začal kláštorný kostol slúžiť ako farský.

Pred kostolom na mieste bývalého panského rybníka sa v súčasnosti nachádza verejný park so zreštaurovanou sochou sv. Jána Nepomuckého. Park nesie meno Štefana Rausa (1880-1958). Bývalý ilavský učiteľ, starosta, kronikár, bol aj organistom v kostole a viedol spevácky zbor.