Ο Ιωάννης ο Γραμματικός γεννήθηκε πιθανότατα στην Κωνσταντινούπολη, άγνωστο πότε ακριβώς και έπειτα από λαμπρές κλασικές σπουδές εργάστηκε αρχικά ως δάσκαλος, αποκτώντας έτσι το προσωνύμιο Γραμματικός (Laurent, Jean). Εντέλει, επέλεξε την εκκλησιαστική σταδιοδρομία και χειροτονήθηκε ηγούμενος της Μονής των Αγίων Σεργίου και Βάκχου. Τα χρόνια της Εικονομαχίας, επί Λέοντα Ε΄, ο Ιωάννης εμφανίστηκε στο προσκήνιο ως εικονοκλάστης και, μαζί με άλλους, μετά την Πεντηκοστή του 814, άρχισε να αναζητεί παλαιά βιβλία θαμμένα στη σκόνη των μοναστηριών και των εκκλησιών, τα οποία συγκέντρωσε στο παλάτι, με σκοπό να ερευνηθούν εξονυχιστικά, προκειμένου να βρεθούν κείμενα ή μαρτυρίες ικανές να υποστηρίξουν την καταδίκη των εικόνων (Lemerle, Ουμ., 120-128).

Δεν είμαστε σε θέση να γνωρίζουμε τι ακριβώς βιβλία μετέφερε στο παλάτι ο Ιωάννης και οι συνεργάτες του, αν δηλαδή επρόκειτο μόνο για θεολογικά ή και για ορισμένα κοσμικά έργα, υποστηρίζοντας έτσι μια αναγεννησιακού χαρακτήρα φιλολογική κίνηση. Επί βασιλείας Θεοφίλου αναρριχήθηκε στον πατριαρχικό θρόνο (837), αλλά μετά τον θάνατο του αυτοκράτορα εξαναγκάστηκε σε παραίτηση, αναθεματίστηκε, εξορίστηκε και απεβίωσε το 863 (Βιβλιοθήκη, 148).