Do Warszawy, tak jak do innych miast europejskich w XIX wieku, przybywało coraz więcej osób, które się tu osiedlały i podejmowały pracę. Tym samym do miasta przyłączono kolejne obszary. Jednym z nich był Grzybów, niegdyś oddzielna miejscowość, która została wchłonięta przez rozwijającą się metropolie.
W 1856 roku podjęto decyzję, aby wybudować tu kościół rzymskokatolicki. Zorganizowano konkurs, a w jego wyniku na architekta wybrano Henryka Merconiego (1792-1863) pochodzącego z włoskiej rodziny artystów osiadłych na ziemiach polskich. Twórca przygotował projekt ogromnej świątyni w duchu neorenesansu, który został przyjęty w 1860 roku. Proporcje i kompozycję wnętrza zaczerpnięto z kościoła Santa Giustina w Padwie, z północnych Włoch. Systematycznie organizowano zbiórki funduszy na inwestycję. W 1861 roku rozpoczęto budowę podziemnej części kościoła, w której 1866 roku odprawiono pierwszą mszę świętą. O skali budowli świadczy to, że dolna część miała pomieścić 2000-3000 osób, a górna 5000 osób.
Główne partie kościoła wznoszone etapami w lata 1874-1875 i 1877- 1878, a wyposażanie trwało w latach następnych. W 1883 roku nastąpiła konsekracja ukończonej budowli. Przez blisko wiek był to największy kościół w Warszawie.
Ołtarz główny ozdobił monumentalny obraz Ukrzyżowanie pędzla włoskiego artysty Francesco Trevisani’ego (1746-1856), który tworzył w duchu późnego baroku. Pozostałe obrazy w ołtarzu głównym oraz większość w ołtarzach bocznych zostały namalowane w latach 70. I 80. XIX wieku przez uznanych polskich artystów m. in. Henryka Siemiradzkiego, Wojciecha Gersona, Józefa Buchbindera i Franciszka Tegazzo.
W 1889 roku zbudowano ambonę projektu wybitnego architekta Józefa Piusa Dziekońskiego i jego współpracownika Pawła Nieniewskiego. W podstawie jej schodów widać pamiątkową tabliczkę. Swoją formą ambona nawiązuje do tej z niedalekiego kościoła św. Krzyża z ul. Krakowskie Przedmieście.
Kolejnymi etapami budowy w latach 1892-189 było ukończenie fasady i wież, oraz zawieszenie czterech dużych dzwonów. Z tego czasu chodzi też chrzcielnica wykonana z czarnego marmuru.
Warszawa na przełomie XIX i XX wieku była swoistym tyglem narodowościowym, etnicznym i religijnym. Większość stanowili Polacy, ale spory odsetek mieszkańców stanowili Żydzi. Żyli tu także ewangelicy (w okolicy zbudowano ich świątynie) oraz Rosjanie wyznania prawosławnego, którzy w 1915 roku, w tej części zagarniętych ziem polskich, sprawowali administrację i kontrolę wojskową. W bezpośrednim sąsiedztwie, przy ul. Twardej 6, 1902 roku ukończono budowę synagogi fundacji Zalmana i Rywki Nożyków. Działa ona do dziś.
II wojna światowa (1939-1945) przyniosła zagładę społeczności żydowskiej oraz zniszczenie kościoła Wszystkich Świętych. Kościół został przez niemiecką administrację włączony w obszar tzw. Getta przeznaczonego dla ludności żydowskiej. W obliczu tej dyskryminacji księża z parafii zorganizowali opiekę duszpasterską dla ludności żydowskiej wyznania rzymskokatolickiego, ale z czasem zaczęli na miarę możliwości wspierać wszystkich potrzebujących. Wydarzenia te są m.in. opisane w książce Proboszcz z getta Małgorzaty Żuławnik i Karola Madaja z 2010 roku, a także we wspomnieniach Historia jednego życia z 1946 roku pochodzącego z rodziny żydowskiej wybitnego lekarza i naukowca prof. Ludwika Hirszfelda, któremu w ucieczce pomógł miejscowy proboszcz ksiądz Marceli Godlewski (1865-1945). Za swoją działalność na rzecz Żydów w czasie niemieckiej okupacji ksiądz proboszcz w 2009 roku został pośmiertnie uhonorowany przez Instytut Yad Vashem medalem Sprawiedliwy Wśród Narodów Świata. W 2017 roku Fundacja Wallenberga, przyznała kościołowi tytuł House Of Life jako miejscu, w którym ratowano Żydów w latach Holocaustu.
Wojenne bombardowania spowodowały zniszczenie fasady kościoła, dachu oraz zawalenie się sklepień, które spadając przebiły się do części dolnej. Zagładzie uległy wszystkie obrazy malowane na płótnie oraz większość wystroju rzeźbiarskiego i wyposażenia.
Kościół odbudowano etapami. Jednym z ostatnich było odtworzenie monumentalnej kopuły nad transeptem. Obecnie wnętrze uzupełniają m.in. cenne obrazy dużych rozmiarów ukazujące sceny męczeństwa świętych. Namalował je Michael Willmann (1630-1706) niemiecki mistrz malarstwa barokowego. Płótna sprowadziło do stolicy ministerstwo kultury i sztuki po 1945 roku z Dolnego Śląska w czasie zajmowania tamtejszych obiektów sakralnych i niszczenia zabytkowego wyposażenia przez wojska radzieckie.
Istotną ozdobę nawy bocznej stanowi figura Chrystusa wyrzeźbiona w końcu XIX w. w białym marmurze przez Wiktora Brodzkiego.
Skala świątyni wymogła też powstanie dużych organów, które swym dźwiękiem towarzyszą liturgii, a niekiedy są wykorzystywane przy okazji organizowanych tu koncertów.
Jarosław Zawadzki