At the age of nine, he apprenticed with his father, but Astley's dream was to work with horses, so he joined Colonel Eliott's Fifteenth Light Dragoons when he was 17, later becoming a Sergeant Major. His service in the Seven Years' War brought him into contact with professional trainers and riders. Astley himself was a brilliant rider.
เมื่ออายุได้ 9 ขวบได้เริ่มฝึกหัดงานกับบิดา แต่ความฝันของแอสต์ลีย์กลับอยากทํางานที่เกี่ยวกับม้า ดังนั้นแอสต์ลีย์จึงเข้าร่วมเป็นทหารในกรมทหารม้าเบาที่ 15 ของพันเอกเอเลียตเมื่ออายุ 17 ปี และต่อได้เลื่อนเป็นสิบตรี แอสต์ลีย์ได้เข้าร่วมรบในสงครามฝรั่งเศสและสงครามอินเดีย อาชีพทหารของแอสต์ลีย์ได้ช่วยให้เขาได้พบปะและติดต่อกับนักฝึกม้าและนักขี่มืออาชีพหลายคนซึ่งแอสต์ลีย์เองก็เป็นนักขี่ม้าตัวยงอยู่ด้วยแล้ว