Листер Дублинде, Ирландияда, армия капитаны Чаворт Листердің және оның әйелі Энн Кийтлидің үшінші ұлы болып дүниеге келді. Оның ағасы Уильям Саурин, Ирландияның бас прокуроры. Сауриндер отбасының бір бөлігі француз гугеноттарының ұрпағы болған. Оның тағы бір ағасы Дромор епискобы Джеймс Саурин болды. 13 жасында Листер аурудан кейін әлемді аралап, 1842 жылы Сидней мен Мельбурнға барды. Англияға оралғаннан кейін ол Индияға барып, плантатор болуға ниетті болды, бірақ климат оған сәйкес келмеді, ол қайтадан Англияға оралды. 1847 жылы Оңтүстік Африкада жүріп, 7-ші мыс шекаралық соғыста шайқасты.
Бір жылдан кейін АҚШ-та актерлік табысын аздап сынап көрді.