Σπούδασε στη Θεολογική Σχολής της Χάλκης, απ’ όπου αποφοίτησε το 1888, χειροτονήθηκε διάκονος και έφυγε για τη Λειψία και τη Βόννη για σπουδές στη Φιλοσοφία και στη Θεολογία. Το 1891 διορίστηκε καθηγητής στη Σχολή της Χάλκης, το 1896 εξελέγη επίσκοπος Χαριουπόλεως και αρχιερατικός προϊστάμενος της κοινότητας Σταυροδρομίου.
Το πρώτο κεφάλαιο στην πολυτάραχη ζωή του ξεκίνησε να γράφεται το 1900 όταν σε ηλικία 34 ετών εξελέγη μητροπολίτης Καστοριάς. Υπό την καθοδήγηση του Οικουμενικού Πατριάρχη Ιωακείμ Γ’, του πνευματικού ηγέτη του Μακεδονικού Αγώνα, ανέλαβε καθοριστικό ρόλο στη στήριξη του ελληνικού πληθυσμού που δοκιμαζόταν από τη δράση του βουλγαρικού κομιτάτου.
Χρησιμοποιώντας το ψευδώνυμο Κώστας Γεωργίου, ο μητροπολίτης Καστοριάς ανέπτυξε πρωτοφανή δραστηριότητα συνεπικουρούμενος από τον Ίωνα Δραγούμη και τον πρόξενο Λάμπρο Κορομηλά – μεταξύ άλλων, κατάφερε πολλά χωριά και κωμοπόλεις να αποσκιρτήσουν από τη Βουλγαρική Εξαρχία και να επανενταχθούν στο Οικουμενικό Πατριαρχείο, ενώ ζήτησε και την επίσημη παρέμβαση του ελληνικού κράτους στον Αγώνα.
Από κοινού με τον αξιωματικό του ελληνικού στρατού καπετάν Βάρδα, ο μητροπολίτης δημιούργησε τις απαραίτητες προϋποθέσεις για την εκδίκηση των σφαγών που συγκλόνισαν τότε τον κόσμο.
Στα προλεγόμενα του βιβλίου του Μητροπολίτη Αυστρίας, ο καθηγητής κ. Απόστολος Γλαρίνας, γράφει:
«Ο Γερμανός Καραβαγγέλης, ως ηγετική φυσιογνωμία του Μακεδονικού Αγώνος, ανέπτυσσε πρωτοβουλίες, συνεργαζόταν με εκπρόσωπους των Αθηνών περιόδευε την Επαρχία ταλαιπωρούνταν κινδύνευε, εμψύχωνε τους πάντες, αλληλογραφούσε με παραγονrες, οργάνωνε αντιστασιακές ομάδες, αναπτέρωνe τους Έλληνες και Πατριαρχικούς, ενίσχυε τους αδύναμους, σαγήνευε τους οπλαρχηγούς, ξυπνούσε τις υπνώτουσες συνειδήσεις των Αθηνών και με μία ασυνήθιστα έντονη, διαρκή και αποτελεσματική δραστηριότητα, περιφρουρούσε το ποίμνιό του και τον Ελληνισμό της βορειοδυτικης Μακεδονίας από τους Βούλγαρους Εξαρχικούς.»
Όμως, η δράση του ενόχλησε και τους Βούλγαρους και τους Τούρκους που ζήτησαν από το Πατριαρχείο την ανάκλησή του. «Η απομάκρυνσή μου από την Καστοριά θεωρήθηκε σαν ένα τραύμα στον Μακεδονικό Αγώνα, μα ο αγώνας βρισκόταν ήδη στο τέλος του», είχε πει.
Ο Γερμανός Καραβαγγέλης διορίστηκε μητροπολίτης Αμασείας το 1908 και παρέμεινε σε αυτή τη θέση έως το 1922. Στο μεγαλεπήβολο σχέδιο ανάπτυξης της επαρχίας του περιλαμβανόταν η ίδρυση σχολείων και άλλων ευαγών ιδρυμάτων, και η ανέγερση ναών και νέου μητροπολιτικού μεγάρου. Σε μόλις τρία χρόνια έχτισε 115 σχολεία και σχολές. Κυρίως, όμως, με δική του πρωτοβουλία ιδρύθηκε ο «Μιθριδάτης», μια μυστική αντιστασιακή οργάνωση στα πρότυπα της Φιλικής Εταιρείας.
Για την πατριωτική του δράση συνελήφθη και φυλακίστηκε το 1917.
Επέστρεψε στη θέση του αλλά το 1922, μιας και θεωρούνταν υπ’ αριθμόν ένα εχθρός του Μουσταφά Κεμάλ, καταδικάστηκε σε θάνατο, το ίδιο και οι συνεργάτες του, ο επίσκοπος Ζήλων Ευθύμιος Αγριτέλλης και ο πρωτοσύγκελος Πλάτωνας Αϊβαζίδης. Ο μητροπολίτης ήταν ο μόνος που γλίτωσε καθώς τη στιγμή της καταδίκης ήταν εν πλω επιστρέφοντας από το Βουκουρέστι. Η Ιερά Σύνοδος του Οικουμενικού Πατριαρχείου για να τον σώσει τον εξέλεξε μητροπολίτη Ιωαννίνων και με εντολή του Πατριάρχη δεν αποβιβάστηκε στην Κωνσταντινούπολη αλλά στην Αθήνα.
Αν και προτάθηκε για Αρχιεπίσκοπος Αθηνών δεν εξελέγη, όπως παλαιότερα, το 1913 και το 1921, του είχαν αρνηθεί τον πατριαρχικό θρόνο. Η «μετάθεσή» ως Έξαρχος Κεντρώας Ευρώπης στη μητρόπολη Ουγγαρίας ήρθε το 1924, μόλις έναν χρόνο μετά την άφιξή του στα Ιωάννινα.
Ο Γερμανός Καραβαγγέλης στ’ απομνημονεύματά του ανέφερε: «Κι έτσι σήμερα κατάντησα να περιφέρομαι σχεδόν άνεργος σ’ ερείπια, εξόριστος απ’ την Καστοριά, απ’ την Αμάσεια, απ’ την Κωνσταντινούπολη, αφού γλίτωσα πολλές φορές τον μαρτυρικό θάνατο στην Τουρκία, και τελικά εξόριστος κι απ’ την Ελλάδα. Ο κληρικός αυτός φαίνεται πως δεν θα ήταν χρήσιμος πια στην Εκκλησία της Ελλάδος και γι’ αυτό έπρεπε να ταλαιπωρηθεί, να εξευτελιστεί, να εξοριστεί τέλος απ’ την ίδια του την πατρίδα, για να πεθάνει μακριά της εξόριστος στην ξένη γη».
.
