Zu Beginn des letzten Jahrhunderts waren Arbeitersportvereine wie der ATV der verlängerte gesellschaftliche Arm der Sozialdemokratie. Noch von den Bismarckschen Sozialistengesetzen geprägt, war es der Arbeiterschaft damals größtenteils untersagt, sich zu versammeln. Unter dem Deckmantel eines Sport- oder Gesangsvereins konnten sich die „Genossen“ dennoch treffen und versammeln.
In unseren Breiten wurden von der Keimzelle Mitterteich aus u.a. Arbeiterturnvereine gegründet, so auch in Höchstädt oder beispielsweise in Thierstein. Mit der Machtübernahme Hitlers wurden diese Vereine verboten und zwangsenteignet. Das geschah auch in Höchstädt. Während der zwölf Jahr, die der braune Spuk dauerte, gab es kein Vereinsleben.
Nach Ende des Zweiten Weltkriegs ließ die amerikanische Besatzungsmacht lediglich einen Zentralverein pro Ort zu, dem alle anderen Gruppierungen untergordnet wurden. Auch der ATV Höchstädt war für mehrere Monate der „Zentralverein“. Unser Nachbarverein in Thierstein heißt heute noch so.
Beim ATV war das große Ziel die Wiedererlangung des Vereinsheims auf dem Schlosshügel. Da das idyllische Areal am Nordrand Höchstädts nach der Zwangenteignung jedoch zweimal den Besitzer wechselte, war die einzige Chance zur Wiedererlangung, den Verein wieder als ATV zu gründen.
Noch bis in die Siebziger Jahre reichte die politische Abgrenzung. Deswegen trägt der Schlosshügel noch heute im Volksmund den Beinamen „der rote Hübel“. Jedoch ist aus dem einst politschen Sportverein längst ein Familienverein geworden, der viel für Sport, Kultur und Zusammenleben tut.