Juan de Jepes nasce a Fontiveros (Avila) nel 1542. Terzo di tre figli, rimase orfano di padre (Gonzalo, appartenente a una ricca famiglia di tessitori di Toledo, che per aver sposato Catalina Álvarez, di umili natali, era stato ripudiato dai suoi) ancor piccolo, e da fanciullo visse peregrinazioni e stenti. Avviato in tenera età ai mestieri più vari, a Medina prestò servizio come infermiere in un ospedale. Dal 1559 al 1563 compì gli studi umanistici presso i Gesuiti di Medina. Nel 1563 entrò nel convento carmelitano di S. Anna a Medina e dopo la professione compì gli studi presso l’Università di Salamanca e al S. Andrea, lo Studium dei Carmelitani.
Nel 1567 è ordinato prete e a Medina incontra Teresa d’Avila, che ivi stava fondando il secondo convento di carmelitane scalze. Ella lo dissuade dalla sua intenzione di passare all’Ordine certosino, prospettandogli una riforma del ramo maschile dei carmelitani, parallela a quella che lei stava conducendo nel ramo femminile. L’edificio per questa nuova esperienza di vita carmelitana riformata (“Scalzi”) si trovò a Duruelo (Avila) nel 1568. In tale occasione Giovanni mutò il ‘cognome’ “di San Mattia” in quello “della Croce”. In questa sede, poi trasferita a Mancera de Abajo (1570), Giovanni svolse il ruolo di maestro dei novizi e nel 1571, ad Alcalà, fu rettore del Collegio dei carmelitani scalzi. Nello stesso periodo Teresa prendeva possesso della carica di priora al monastero de La Encarnación ad Avila, e chiese che Giovanni venisse nominato confessore del monastero.
Dal 1572 al 1577 Giovanni risiedette ad Avila, esercitando notevole influsso sul monastero delle carmelitane scalze. Malintesi e rivalità nate nei carmelitani di antica osservanza provocarono la sua incarcerazione nel dicembre 1577 a Toledo, nel carcere conventuale da lui in seguito definito “ventre della balena”. “Accade – scrisse – all’anima come se, inghiottita da una bestia, si sentisse digerire nel ventre tenebroso di essa”. Per nove mesi fu in carcere, accusato come ribelle e contumace, ma non rinnegò la riforma avviata con Teresa. In questa buia esperienza si dedicò a scrivere poesie, rimaste tra i testi più alti della mistica cristiana. Nella notte tra il 15 e il 16 agosto 1578 fuggì dal suo carcere, raggiunse i confratelli carmelitani scalzi e in novembre dello stesso anno fu nominato priore del convento di El Calvario in Andalusia. In questo periodo scrisse i commenti ai suoi scritti poetici.
Nel marzo 1581 ha luogo ad Alcalà, con attiva partecipazione di Giovanni, il capitolo di separazione dei carmelitani scalzi, costituiti in provincia separata per concessione di papa Gregorio XIII (22 luglio 1580). Giovanni fu priore a Granada, vicario provinciale in Andalusia, di nuovo priore a Granada. E a Granada scrive le sue opere spirituali più elaborate: anzitutto la Salita al Monte Carmelo e la Notte Oscura, che con la Salita costituisce come un dittico, e poi il Cantico spirituale e la Fiamma viva d’amore . Oltre a un ricco epistolario e scritti minori, lasciò anche un disegno di Cristo in croce rimasto famoso per la sua prospettiva ardita dal punto di vista iconografico ma anche teologico, che venne poi ripreso dal pittore Salvator Dalì.
Quando fu nominato primo vicario generale dei riformati Nicolò Doria, Giovanni ne fu consigliere, stabilendosi a Segovia. Negli ultimi tempi della sua vita dovette di nuovo subire ostilità e avversioni da parte di confratelli, che portò con serenità e mitezza. Privato di qualsiasi ufficio, morì ancor giovane a Ubeda, la notte tra il 13 e il 14 dicembre 1591.