JD passe toute son enfance et une partie de sa jeunesse en Bretagne. Sa vie durant il gardera le goût des légendes de Cornouaille, et restera imprégné de l’esprit celte.Son père, Étienne Deyrolle est médecin militaire, archéologue et peintre amateur. La famille le suit de Nogent-sur-Marne à Vannes puis Quimper.
A la mort de son père en 1924, la famille s’installe chez sa grand-mère Suzanne à Concarneau. Il y reste jusqu’à ses 17 ans.
En 1928, il s’installe à Paris pour ses études mais revient passer toutes ses vacances à Concarneau où il retrouve sa cousine Jeannine