Sinh tại Beaconsfield, Anh, Ben được nuôi dưỡng giữa Los Angeles, nơi cha của anh, Brian Scholfield, làm việc tại Rondor với Herb Alpert và Jerry Moss với tư cách Giám đốc tài chính, và Anh, nơi anh theo học trường Stowe, cùng với Henry Cavill. Sau khi được đào tạo tại Học viện Webber Douglas ở London, Ben rời khỏi đó để quay bộ phim What A Girl Wants. Đây là sự khởi đầu cho một sự nghiệp mà từ đó đã phát triển thành quản lý các quyền âm nhạc, phim và truyền hình. Anh là một người chơi thể thao nhiệt tình và đã dành vài năm làm huấn luyện viên trượt tuyết và vào một thời điểm đã xem xét việc trở thành một tay vợt chuyên nghiệp.
