Υπήρξε εἱς ἐκ τῶν πλέον μορφωμένων Βυζαντινῶν τῆς ἐποχῆς του καὶ ἐχρημάτισε διδάσκαλος τοῦ αὐτοκράτορος Θεοφίλου. Ἀνῆκε εἰς τὴν παράταξιν τῶν εἰκονομάχων καὶ ανέβη εἰς τὸν πατριαρχικὸ θρόνο τῇ προωθήσει τοῦ Θεοφίλου.
Ὡς ἡγούμενος τῆς μονῆς Σεργίου καὶ Βάκχου, διέταξε τὴν ἀπόξεσι καὶ καταστροφὴ τῶν ἱερῶν εἰκόνων τοῦ ναοῦ· ὡς πατριάρχης δὲ ὑποστήριξε θερμῶς τὴν εἰκονομαχικὴ πολιτικὴ τοῦ Θεοφίλου.
Μετὰ τὸν θάνατο τοῦ Θεοφίλου (842) καὶ τὴν ἀνάληψι τῆς ἐξουσίας ἀπὸ τὴν βασίλισσα Θεοδώρα, ἀπεμακρύνθη τοῦ πατριαρχικοῦ θρόνου ἐξ αἰτίας εἰκονομαχικῶν του φρονημάτων, μετὰ δὲ τὸν θάνατό του τὸ λείψανο του ἐκάη, ἐντολῇ τοῦ αὐτοκράτορος Μιχαὴλ Γ´ (842-867).
Ἰωάννης ὁ Γραμματικὸς ὑπῆρξε ὑπέρμαχος τῆς ἀξιοποιήσεως τῆς κλασικῆς ἑλληνικῆς διανοήσεως εἰς τὴν βυζαντινὴ παιδεία καὶ διεκρίθη διὰ τὴν προσφορά του εἰς τὸν τομέα αὐτόν.
