Su familia quería que estudiase, pero no hostelería. Sin embargo, después de un año de estudios como aparejador, en 1962 decidió matricularse en la Escuela Superior de Gastronomía de Madrid. Tras terminar sus estudios en 1965, hizo varias prácticas en el extranjero, en los fogones del Sandersens parisino y del suizo Girarder, entre otros. 

En 1966, tras haber finalizado sus estudios en la Escuela de Hostelería, el Servicio Militar y las prácticas en el extranjero, empieza a trabajar en el restaurante de su familia. En principio se especializó en la partida de carnes asadas al carbón vegetal. Su madre fue también su maestra en la cocina tradicional vasca, una instructora paciente y constante, quien paso a paso le reveló los secretos de la gastronomía. Fueron su curiosidad y ganas de seguir aprendiendo lo que hicieron que Juan Mari comenzase a trabajar en platos de creación propia. 

"La mayor satisfacción del cocinero es sentirse vivo, sentir que lo que se hace da vitalidad y, al mismo tiempo, ofrecer placer."
_{Blog GuíasdeturismodeSalamanca}

A partir de mediados de los años 70 comienza a recibir premios y reconocimientos, que convierten al Restaurante Arzak en un referente de la gastronomía nacional e internacional. En 1976 asistió al primer certamen gastronómico organizado por la revista Club de Gourmets, con la presencia de Paul Bocuse, quien le encaminó definitivamente hacia la cocina como arte. Inspirados por la Nouvelle cuisine surge el movimiento de la Nueva Cocina Vasca, de la cual Juan María Arzak se convierte en su principal representante y que influirá decisivamente en la cocina española. En 1989 le otorgan la tercera estrella de la Guía Michelín, que mantiene hasta la actualidad.