Die Anfänge von Ochsenburg können der Sage nach, um das Jahr 330 n.Chr. gewesen sein. In einer Schrift im „vom Gölerschen“ Archiv wird berichtet, dass „Anno Domini 330“ der edle Ritter Oxuvatus hier eine Burg „erbaute“, die den Namen Oxenstyburg erhalten hat. Daraus könnten die „Herren von Ochsenburg“ hervorgegangen sein. Dieses Geschlecht starb dann im Jahr 998 aus und nach verschiedenen Besitzwechseln gelangte Ochsenburg samt Nachbarorten im Jahre 1365 unter die Herrschaft des Hauses Württemberg. Am 5.3.1385 erhielt Graf Freiherr Hennel I von Sternenfels die Besitzungen von Graf Eberhard dem Greiner für besondere Dienste als Lehen.
Von da an regierten die Herren von Sternenfels über Ochsenburg, Leonbronn, Zaberfeld und Michelbach samt Pfützen- und Riesenhof bis in das Jahr 1749. Hauptsitz des Herrengeschlechtes war Ochsenburg, das mit einer Stadtmauer umgeben war und bereits 1357 erstmals als „Städtchen“ bezeichnet wurde. Im Verlauf ihrer Herrschaft ließen die Herren v. Sternenfels als Regierungssitz ein Renaissance Schloss errichten, dessen Fertigstellung im Jahre 1588 vermeldet wird. Überragt wurde das ganze von einem sogenannten „Römischen Turm“, der einer der schönste im ganzen Lande gewesen sein soll. Im Jahre 1564 wurde außerhalb der Stadt (an der heutigen Oststrasse) ein neuer Friedhof angelegt, der der Heiligen Anna gewidmet war. In der Nähe des kunstvoll gearbeiteten Eingangstores fand das Familiengrab der Sternenfelser Herrschaft seinen Platz. Es wurde mit einem großen Stein-Kruzifix versehen. Zuvor wurden die Mitglieder der Herrscherfamilie im Chor und im Schiff der Kapelle bestattet, wovon noch eine große Anzahl von teils sehr schönen Grabmalen in der Kirche zeugen.
Am 3. Februar 1749 verkauften dann die Herren von Sternenfels ihren gesamten Besitz mit Schloss und Stadt Ochsenburg samt der dazugehörigen Orte und Höfe an Herzog Carl Eugen von Württemberg. Dieser Ließ im Schloss eine Kammerschreiberei einrichten, um das Gebiet von hier aus zu verwalten. 1807 verlor Ochsenburg das Stadtrecht. Die Verwaltung wurde später abgezogen und im Jahre 1814 verkaufte das Cameralamt Güglingen Turm und Schloss an verschiedene Ochsenburger Bürger. 1816/17 wurde dann zunächst der Turm und in den Jahren 1838/39 auch der größte Teil des Schlosses abgebrochen und die Steine im Wesentlichen zum Straßenbau verwendet. Lediglich einige Zier- und Wappensteine konnten dadurch gerettet werden, dass sie Ochsenburger Bürger in die Außenmauern ihrer Häuser einfügten. Ab dem Jahre 1851 hat man auch noch das mächtige Felsplateau, auf dem das Schloss gestanden hatte, um ca. 3m abgetragen und die herausgebrochenen Steine nach Bietigheim zum Bau der großen Eisenbahnbrücke verkauft. Der Ausverkauf ging weiter.
Das Einzige, das heute noch etwas von der einstigen Bedeutung und Pracht Ochsenburgs ahnen lässt, ist der schöne Zinnengiebel der einstigen Schlosskellerei.
(Heute Wohnhaus im Schlosshof Nr.4)