Gia đình của Ly đã trốn khỏi Việt Nam bằng thuyền ngay sau sự sụp đổ của Sài Gòn vào tháng 4 năm 1975. Scott, người con út trong số bốn người con, là người đầu tiên sinh ra tại Mỹ, ở Houston, Texas. Tuy nhiên, anh được nuôi dưỡng và coi Thung lũng San Gabriel, Nam California là quê hương của mình. Là một vận động viên bẩm sinh, anh là đội trưởng của đội bóng rổ và đô vật của trường trung học. Scott sau đó trở thành một chiến binh chuyên nghiệp với sự cống hiến và huấn luyện chịu ảnh hưởng của cố Bruce Lee. Sự cống hiến của Scott đã dẫn anh đến thực hành hàng ngày của huấn luyện vòng tròn, yoga, Jiu Jitsu của Brazil và các hoạt động MMA. Niềm đam mê biểu diễn trên sân khấu và trước máy quay đã dẫn anh đến với nghề diễn xuất như trọng tâm chính của mình.
