Daryl y su hermano mayor, Merle vivieron con un padre alcohólico y negligente en algún lugar de las montañas del norte de Georgia. Merle levantó a Daryl para compartir sus creencias y siempre trató de endurecerlo. Sin embargo, él también estaba a menudo ausente de la vida de Daryl (parte de esto se debe al hecho de que con frecuencia era internado en instituciones para menores). Esto llevó a Daryl tener que valerse por sí mismo una gran cantidad veces. Una vez, durante su infancia, se había perdido en el bosque durante nueve días completos y vivía de frutas del bosque y utilizo roble venenoso como un sustituto de papel higiénico. Cuando se las arregló para encontrar su camino a casa, ni Merle ni su padre notó su ausencia.