Het landgoed, dat voor het eerst wordt genoemd in 1031, was eigendom van bisschop Meinwerk van Paderborn en ging in de 16e eeuw deel uitmaken van de gemeente Bökenförde. Onder leiding van de von Hörde dynastie en met plannen van bouwmeester Kitz werd het kasteel tussen 1765 en 1768 omgetoverd tot een prachtig barok gebouw. Italiaanse stucmeesters verfijnden het interieur, terwijl de oranjerie in rococostijl en de rijk versierde kapel met het indrukwekkende altaar bijzondere hoogtepunten zijn.
Na een brand in 1935 werd het kasteel met veel oog voor detail herbouwd. Sinds 1998 is het privébezit van Dr. Otto Drosihn. Het is daarom niet toegankelijk voor het publiek, maar van een afstand is het een prachtig gezicht.
Kasteel Schwarzenraben is een aantrekkelijke bestemming voor fietstochten rond Lippstadt en belooft niet alleen inzicht in de geschiedenis, maar ook een prachtig decor voor ontspannende uren.