Was in jenen Tagen zu Beginn der 50- Jahre des letzten Jahrhunderts geschah, lässt sich mit dem Abstand von 50 Jahren nur bedingt nachvollziehen: 
Die Vehemenz der Auseinandersetzung um die Richtung der bildenden Kunst im westlichen Teil Nachkriegsdeutschlands, die vermeintlich zwischen der gegenständlichen Malerei und der Abstraktion eine Entscheidung über den richtigen Weg suchte. 

Der Disput wurde neben anderen Schauplätzen vor allem in der Berliner Presse ausgetragen. Teils mit solch einer Schärfe, die auch vor persönlichen Angriffen nicht zurückschreckte und die Hofer ziemlich zugesetzt hat, am Ende gar mit seinem Tod in Verbindung gebracht wird. 

Die Rollen in diesem Streit scheinen dabei klar verteilt. Auf der einen Seite die Protagonisten der Moderne, in Person des Kunstkritikers Will Grohmann, den Hofer 1948 selbst an die Hochschule für Bildende Künste in Berlin geholt hatte und auf der anderen die Gegenständlichen, exemplarisch vertreten durch den „Realisten“ Karl Hofer. 
Die eigentliche Wurzel dieses Konflikts ist wohl in den unterschiedlichen Auffassungen der beiden über die Rolle des Künstlers zu sehen. Grohmann betrachtete den Einzelnen als Teil des Kollektivs, währende Hofer ein eindeutiger Verfechter des Künstlers als Individuum war. 

Es war ein Artikel Karl Hofers im Berliner Tagesspiegel vom 11.02.1955 mit dem Titel „Der Mut, unmodern zu sein.“ an dem sich die seit einiger Zeit latent schwellende Kontroverse entzündete. 
Hierin äußerte sich Hofer aus seiner Sicht zu den Tendenzen in der aktuellen Kunstentwicklung. Diagnostizierte dabei eine Wandlung von der Kultur- in eine Maschinenwelt und beschrieb die Gefahr einer sinnentleerten, nur auf Sensationen bedachten Kunst. 
Er beklagte die „behauptete Prädominanz der abstrakten Kunst über alles andere...“ und das ideologische Gehabe ihrer schreibenden Verteidiger, lies sich dabei zu einem provozierenden Vergleich dieser Vertreter mit den Schergen der Nationalsozialisten hinreißen. 
Eine prinzipielle Disqualifizierung der Abstraktion, wie später behautet wurde, war hierin beileibe nicht zu sehen. Grohmann sah sich genötigt für die „Modernen“ Stellung zu beziehen. Warf Hofer eine Verunglimpfung der Ungegenständlichen vor und kritisierte dessen vermeintlichen Kultur-Pessimismus. 
Verständlich wird diese Auseinandersetzung wohl nur unter dem Blickwinkel der Atmosphäre, welcher in dieser Zeit vorherrschend war. Der politische Konflikt zwischen Ost und West, die Flucht aus der Gegenwart in die Zukunft, der Versuch die schreckliche Vergangenheit abzustreifen. Eben auch durch das Verdammen und die Überwindung „alter“ Formen. Eine Art Reinigungsprozess und der Weg in jene Kunstformen, die von den Nationalsozialisten abgelehnt worden waren. Sie waren reaktionärer Tendenzen unverdächtig. Ein Ansinnen, dass natürlich so nicht möglich war. 

In der Sache war vieles unrichtig und diffus. Hofer war kein Gegner der Abstraktion. Er hatte in den 1920ger Jahren selbst Versuche in diese Richtung unternommen, von denen er aber dann wieder Abstand genommen hatte. 

Im Mittelpunkt von Hofers Schaffen stand nun mal der Mensch und die gegenständliche Form. Er war weit davon entfernt der ungegenständlichen Kunst ihre Berechtigung abzusprechen. 

Sollte man das ganze dann eher als ein Kommunikationsproblem, als Missverständnis deuten? Leider nein, denn im Zuge der Auseinandersetzung kritisierte Grohmann darüber hinaus Hofers Œuvre im Bezug auf seine Eigenständigkeit, sah in ihm einen „Fatalisten“, dem Schönen zugeneigt, der die Realität nur in Chiffren zeigt. Bezeichnete Hofers Malstil und Haltung als konservativ und unmodern. Hofer sah sich das Etikett eines Gestrigen und Unzeitgemäßen, einer Antiquität, wie er es nannte, aufgedrückt. Ein Umstand, den er als besonders schmerzlich empfinden musste. Ob Grohmann Hofer mit Absicht missverstanden hatte? 
Eine Frage, deren Klärung nicht mehr möglich ist. 
Hofer litt zunehmend unter den Anfeindungen, zumal er darüber hinaus zwischen die Fronten des beginnenden kalten Krieges geriet. Hier im Westen die Abstraktion, dort im Osten der Sozialistische Realismus. 

Im März des Jahres 1955 trat Karl Hofer als Direktor der Hochschule für Bildende Künste zurück: Am 3. April starb er an den Folgen eines Schlaganfalls.