Aubrey sinh ra ở Bolton, Lancashire, là con trai của vận động viên thể dục dụng cụ sinh ra tại Mỹ Robert Aubrey. Sau đó, anh trở thành thành viên của nhóm tạp kỹ Fred Karno, lần đầu tiên đến New York vào năm 1900, sau đó định cư vĩnh viễn sau khi di cư từ London vào ngày 29 tháng 8 năm 1908. Là một người hỗ trợ sớm cho Charlie Chaplin, sau đó anh đạt được trạng thái dẫn đầu trong thời kỳ câm (Oliver Hardy từng cung cấp hỗ trợ). Sau khi sự nghiệp của anh suy giảm như một diễn viên chính, anh ban đầu được Laurel & Hardy cho làm việc, trước khi bắt đầu sự nghiệp với tư cách là diễn viên phụ trong hơn 300 bộ phim.