A Paloznak központjában emelkedő dombon áll a falu első kőépítménye, az Árpád-kori templom, melyet a Millenniumi Park ölel körbe.

Paloznak nevezetes épületei közé tartozik az Árpád-kori katolikus templom gótikus részleteivel. Bár 1352-ben írnak róla először, valószínűleg már a 10-11. században állott a jelenlegi templom helyén valamiféle fából ácsolt kápolna, melynek helyére a 11. században kőtemplomot építettek és Szt. András tiszteletére szentelték.

A román kori 11-13. századi templom fele volt a jelenkorinak A félköríves alaprajzú szentély talán már az építésekor boltozva volt, de a mainál rövidebb templomhajó boltozat nélküli sík és fából ácsolt menyezettel rendelkezett a középkorban. A román kori részleteket a templom mai hajójának déli oldalán ablakok, bejárati kapuk jelzik. A templomhajó nyugati fele az új, a gótika jeleit magán viselő csúcsíves záródású másik déli irányba nyíló oldalkapuval, valamint a kapu felett vörös homokkőből készült keretes, csúcsíves lőrésablakkal már egy későbbi 13-14. századra utaló bővítés jele.

Mint mindenütt, itt is a templom köré temetkeztek a lakosok. A templomot és temetőt egykor fal övezte, 1783-ban még állt azóta nyomaiban látható. A sírkövek egy részét később befalazták, közülük a legkorábbi, kereszttel díszített, hatalmas vörös homokkő a középkori bővítés során lett a templom délnyugati sarokköve. A jelenlegi torony egy még későbbi építmény. A templom a 18. század végén nyerte el mai formáját. Ekkor épült át, barokk stílusban a mellette lévő plébániaház is.

A templom mellett található Antall József emlékműve, és az 1991-ben brutálisan meggyilkolt Dr. Csontos Gyula plébános keresztje is.

A templomot körülvevő Millenniumi Parkot egy elhanyagolt mandulásból alakította ki az önkormányzat. Itt kapott helyet a Hild-díjat megörökítő emléktábla, illetve a Thewrewk Aurél által megszerkesztett és Szabó László szobrászművész által formába öntött napóra.