Εν μέσω της περιόδου της Χούντας και συγκεκριμένα το 1968, αναλαμβάνει προπονητής της ΑΕΚ, ο Μπράνκο Στάνκοβιτς. Από την πρώτη του στιγμή ως τεχνικός της ομάδας, δεν συμπαθεί τον Σεραφείδη, ο οποίος καταλήγει έπειτα από 13 έτη ως βασικός τερματοφύλακας, να παραγκωνιστεί στον πάγκο.
Πίσω από την απόφαση αυτή, υποβόσκει η επιθυμία του Κώστα Ασλανίδη (υψηλόβαθμου στελέχους της Χούντας με αρμοδιότητες στον αθλητικό τομέα), να εκδιωχθούν οι παίκτες με δηλωμένα “αριστερά” φρονήματα από τις ομάδες τους.
Με αυτόν τον τρόπο, αποχωρεί ο Φώτης Μπαλλόπουλος (124 συμμετοχές ως αμυντικός με τα “κιτρινόμαυρα”) και το ίδιο επιχειρείται να γίνει και με τον Σεραφείδη. Ο Στέλιος όμως, αντιμετωπίζει την ΑΕΚ ως “σπίτι” του και προτιμάει να παραμείνει ως τρίτη επιλογή, παρά να φύγει “ατιμασμένος”.
Έτσι γίνεται λοιπόν, και ο “θρύλος” των “κιτρινόμαυρων” μένει στον σύλλογο, περιμένοντας υπομονετικά μία ευκαιρία για να αγωνιστεί ξανά. Η στιγμή αυτή έρχεται τον Οκτώβριο του 1971, όταν μία εβδομάδα πριν το παιχνίδι κόντρα στον Παναθηναϊκό, οι υπόλοιποι τερματοφύλακες τραυματίζονται και ο Στάνκοβιτς αναγκάζεται, κυριολεκτικά, να τον χρησιμοποιήσει ως βασικό.
Σε εκείνο το ντέρμπι ο Σεραφείδης πραγματοποιεί μία καταπληκτική εμφάνιση και η ΑΕΚ κερδίζει με 2-1. Ο 37χρονος τότε γκολκίπερ καταλήγει να… γίνει σύνθημα στα χείλη των φιλάθλων στις εξέδρες, στις οποίες βρίσκεται και ο Ασλανίδης, το πρόσωπο που ήταν υπεύθυνο για τον διωγμό του.
Εκείνη η ημέρα αποτέλεσε μία “γροθιά στο καθεστώς”, καθότι ο Στέλιος Σεραφείδης όχι μόνο υπέμεινε την άδικη αποπομπή του, αλλά επέστρεψε και μαζί με το πλήθος κατάφερε να στείλει ένα ηχηρό μήνυμα απέναντι στα πεπραγμένα της Χούντας.
Οι μεγάλες προσωπικότητες δεν λυγίζουν και περιμένουν τη δικαίωση, όπως και έγινε. Ευτυχώς για εμάς τους φιλάθλους, το ποδόσφαιρο και ο αθλητισμός γενικότερα, είναι ένας “κήπος” που διαρκώς “καρποφορεί” σπουδαίους ανθρώπους.