Εικάζεται ότι oι Καλόγηροι σχετίζονται ειδικότερα με το βασίλειο των Αιθήκων, το αρχαίο Πότναιο. Η άποψη αυτή βασίζεται στα αρχαιολογικά ευρήματα και ειδικότερα στα ερείπια του ελληνιστικού κάστρου στη θέση Παλαιόκαστρο, στο αρχαίο νεκροταφείο και την επιτύμβια στήλη του Εχένικου, που χρονολογείται τον 4ο αιώνα π.Χ.. Βρέθηκαν επίσης σπασμένα αγγεία, κεραμίδια, αγαλματίδια, νομίσματα καθώς και δύο τάφοι διαφορετικού βάθους και σχήματος.
Το χωριό μεταφέρθηκε στη σημερινή του θέση στα νεότερα χρόνια από την περιοχή της Αγίας Τριάδας που έπλητταν κατολισθήσεις. Στη διάρκεια της μακρόχρονης ιστορίας του τόπου οι κάτοικοι πολλές φορές αναγκάστηκαν να κρυφτούν στο κοντινό φυσικό καταφύγιο στην κορυφή της Νεράιδας, αλλά και να μεταναστεύσουν, πράγμα που συνέβη όταν οι Τούρκοι το έκαψαν και πολλοί εγκαταστάθηκαν στην περιοχή της Αγιάς.
Οι Καλόγηροι συνδυάζουν το όνομά τους και με την εκκλησιαστική ιστορία αφού ήταν η πατρίδα του ηγούμενου της Μονής Δουσίκου Ιερόθεου (1793-1819 & 1822-1823) ενώ ο Ι. Παπασωτηρίου διάβασε το 1937 σε ανθολόγιο του Αγ. Νικολάου ενθύμηση σχετική με το πέρασμα από τους Καλογήρους του Κοσμά του Αιτωλού το 1777.