Obiekt musiał się podobać nie tylko pierwszemu właścicielowi, ponieważ był dwukrotnie odbudowywany. Pierwszy raz po pożarze w 1831 roku, a potem po zniszczeniach ostatniej wojny. W okresie PRL służył m.in. do szkolenia traktorzystów. O jego pierwotnym przeznaczeniu krążą rozmaite opowieści i legendy.

Kasztelan Rupniewski przebywał 20 lat w tureckiej niewoli, gdzie przeszedł na islam. Do rodzinnego Gnojna przywiózł stamtąd m.in. sadzonki topoli włoskich. Według jednej wersji także swoje liczne żony, dla których właśnie zbudował ten pałac. Według innej był kawalerem lubiącym korzystać z uciech życia i otaczającym się pięknymi kobietami, które umieścił w tym haremie.

Legenda mówi, że Rupniewski tragicznie skończył swój rozpustny żywot. Wpadła mu bowiem w oko urodziwa dziewczyna z pobliskiego Szydłowa, wychowanica tamtejszego księdza. Bezskutecznie zabiegał o to, by zamieszkała w pałacu w Grabkach. Zniecierpliwiony porwał ją i chciał siłą zabrać do pałacu. Rozpędzony powóz wywrócił się jednak, a Rupniewski nabił się na własny kindżał i zmarł w kałuży krwi.

Czy w Grabkach rzeczywiście był harem? Jerzy Fijałkowski i Maciej A. Zarębski w swoich "Sekretach zamków i pałaców ziemi staszowskiej" (Staszów, 1997) piszą, że pałac był tak nazywany ironicznie, z racji wyjątkowego zainteresowania właściciela płcią nadobną, czym oburzał swą rodzinę. "Analizując układ funkcjonalny pałacu - haremowego przeznaczenia wykluczyć nie sposób" - pisze z kolei Roman Mirowski w "Świętokrzyskim albumie" (część III, Kielce 2001).

Pałac zbudowany został na planie ośmioboku. Na parterze dominuje ogromna sala, która obudowana jest niższymi, symetrycznie rozmieszczonymi salonikami. Na piętrze zaś znajdują się liczne pokoje, również symetryczne. Tam także jest balkon, z którego obserwować można duży salon. Podziemia pałacu kryją ponoć cały system korytarzy i kanałów.

Po wschodniej i zachodniej stronie pałacu stoją wybudowane wraz z nim dwa czworoboczne pawilony. W jednym z nich miała się znajdować herbaciarnia, drugi zaś służył do modlitwy. Według haremowej legendy służyły za mieszkanie eunuchom.

Jak tam trafić

Grabki Duże znajdują się w gminie Szydłów, przy drodze 765 Chmielnik - Staszów. Sam pałac oddalony jest około 200 m od niej. Stanowi obecnie własność prywatną i można go zwiedzać tylko z zewnątrz.