Der Haupteingang ist in der Mitte der Nordfassade. Er ist äusserst schlicht und mit einem Dreieckgiebel bekrönt. Durch diese Türe gelangt man in ein querrechteckiges Vestibül. Linker Hand schliesst sich der Gartensaal an, der die ganze Tiefe des Gebäudes einnimmt. Von seiner ehemaligen Ausstattung ist einzig die hölzerne, übertünchte Felderdecke mit grossem Vierpass und vier Nebenfeldern erhalten, ohne jeden malerischen oder plastischen Schmuck. Von hier aus führt auch eine Aussentüre zur östlichen Schmalseite. Diese Türe ist im Aussehen identisch mit der Haupttüre.
Westlich des Vestibüls schliesst sich das Treppenhaus mit einer hölzernen Wendeltreppe an. Diese Stiege, welche die untersten mit den obersten Gemächern verbindet, windet sich spiralförmig um die hölzerne Treppensäule.
Südwärts des Vestibüls liegt auf beiden Geschossen eine Folge von unter sich verbundenen hohen, weiten und zum Teil unpraktischen Räumen. Nur der südöstliche Eckraum hat Reste alter Ausstattung bewahrt, als Fragment der ehemaligen Stuckdecke mit den darunter sich hinziehenden Konsolenfries. Erhalten geblieben ist auch ein klassisch schlichter, runder Turmofen mit Kuppel und Urnenbekrönung. An den Friesen ist er reich verziert. Es ist ohne Zweifel eine klassizistische Schöpfung des Fayenciers Andreas Dolder, der in der Stadt Luzern zahlreiche Werke hinterlassen hat. Die ganze übrige Ausstattung ist bei den zahlreichen Besitzerwechseln des 19. Jahrhunderts zerstört und spurlos verschleudert worden.
Eine besondere Rarität des Holzhofes ist erhalten geblieben, es ist ein schwungvoll gedrehter Kamin, der sich eigenartigerweise zuoberst im Estrich des Hauptgebäudes befindet.
Unter dem westlichen Teil des Hauses liegt der Keller. Er ist mit Tuffsteinen überwölbt. Hier lagern heute Holzfässer und andere Vorräte. Früher diente dieser tiefe, dunkle Keller als Gefängnis. Ein kleines Fenster erinnert an diese dunklen Zeiten.
Die Fassaden waren ehemals ähnlich wie die des Willisauer Landvogteischlosses mit schlichtem Sgraffito geschmückt und mit Eckquadern und Spitzgiebeln über den Fenstern versehen. Als im Jahre 1906 die Familie Niederberger den Holzhof übernahm, war er in einem katastrophalen Zustand. Während bald 100 Jahren haben die verschiedenen Familienmitglieder diesen Herrschaftssitz wieder aufgebaut. Vor allem in den letzten 50 Jahren haben die zwei Generationen Alois und Maria Niederberger-Wandeler und Alois und Annelies Niederberger-Meier an den umfangreichen Gebäulichkeiten eine dem Schlossgut angepasste Renovation durchgeführt und so den Holzhof wieder zu einem Schmuckstück der Umgebung gestaltet.