Xavier Samuel sinh ra tại Hamilton, Victoria, là con của Maree và Clifford Samuel. Ông lớn lên tại Adelaide, Nam Úc và tốt nghiệp tại Rostrevor College vào năm 2001. Ông có một em trai, Benedict, là một nhà văn, nhà sản xuất và diễn viên, cũng như một chị gái lớn tuổi hơn, Bridget, là một người quản lý sân khấu. Mặc dù đã hoàn thành các năm học trung học tại Rostrevor College, Samuel đã theo học lớp cuối năm về kịch tại Christian Brothers College dưới sự hướng dẫn của Amanda Portus, nơi ông đã扮演 vai Tom Snout (bức tường) trong vở sản xuất của Rostrevor College về vở kịch "A Midsummer Night's Dream" của Shakespeare cũng như扮演 vai "Belvile" trong sản xuất của CBC về vở kịch "The Rover" (Các hiệp sĩ bị lưu đày) của Aphra Behn. Sau đó, Xavier Samuel đã theo học tại Trung tâm Kịch của Đại học Flinders vào năm 2005, nơi ông đã học dưới sự hướng dẫn của giáo sư hàng đầu về diễn xuất Julie Holledge. Ông đã fl
