Jádro panského sídla tvoří dvoupatrové budovy seskupené kolem malého čtvercového nádvoří. Zdivo objektu pochází převážně ještě z gotického vodního hradu, vybudovaného ve druhé polovině 15. století Dobrohostem z Ronšperka. V té době byl hrad opevněn hlubokými příkopy a obehnán hradbami předhradí. Renesanční přestavby uskutečněné Švamberky v 16. století i barokní úpravy sídla, které probíhaly za Matyáše Bohumíra Wunschwitze koncem století 17., se dotkly především slohové úpravy fasád a drobnějších přestaveb. Také poslední majitelé do středověkého organizmu stavby příliš nezasahovali. Z iniciativy podivínského hraběte Jana Evangelisty Coudenhove Kalegi (+1965) byla roku 1923 vystavěna spojovací brána mezi zámkem a objektem bývalého předhradí a v roce 1937 dostavěna horní část zámecké věže.
Po roce 1945 zámek krátce využívá útvar Pohraniční stráže. Později byl pustnoucí objekt ponechán osudu a od 80tých let určen k demolici. Zásadní obrat k lepšímu nastal teprve v roce 1989, kdy bylo z iniciativy Městského NV započato s jeho nákladnou rekonstrukcí.
Po opravách, které zámku navrátí důstojnou podobu významného šlechtického sídla, bude objekt využíván městem. Svoje prostory zde získá také muzejní expozice Panevropského hnutí, které dál šíří ušlechtilé myšlenky svého zakladatele Richarda Mikuláše Coudenhove Calergi. V interiéru zámku si zaslouží mimo jiné pozornost i zrestaurované fragmenty nástěnných renesančních fresek. O jejich záchranu mají zásluhu i japonští návštěvníci, kteří do Poběžovic přijíždějí, aby si připomněli pobyt Micku Aoyamy, manželky předposledního majitele zdejšího zámku.
