L’arrière grand-père de JD, Étienne Guillou, dit « Le Pilote » (1818-1887), personnage important et pittoresque, fait construire sur le quai Pénéroff (aujourd’hui avenue du Docteur Pierre Nicolas) à Concarneau, une maison de bois peinte en rouge et vert dans le style de Bergen (car il est aussi vice-consul de Suède et de Norvège).
après la mort de son père, JD va habiter dans cette maison – remplie de peinture et de souvenirs ramenés par les voyageurs de la famille – chez sa grand-mère Suzanne qui vient de perdre son mari, le peintre Théophile Deyrolle. C’est elle, désormais, qui s’occupe seule de l’entreprise de viviers et de parcs à huîtres créée par son père, le Pilote. Âgé alors de 14 ans , JD fait ses études primaires à Concarneau. Il a de nombreux cousins et cousines, mais c’est d’une nièce de sa grand-mère, Jeannine Guillou, du même âge que lui, qu’il se sent le plus proche.
Aujourd’hui, « la maison de bois » appartient encore à la famille du peintre, au rez de chaussée, elle y accueille la Galerie Gloux.
L’atelier du troisième étage ou travailla JD entre 1938 et 1942 existe toujours.