Primeros años
James Butler era el hijo mayor de Thomas Butler, vizconde de Thurles, y de Elizabeth, hija de Sir John Poyntz. Era nieto de Walter, 11º Duque de Ormonde. Los Butler de Ormonde eran una dinastía de viejos ingleses que había dominado el sureste de Irlanda desde la Edad Media. Nació en Londres. Cuando su padre murió ahogado en 1619, el joven James fue nombrado pupilo real por Jacobo I, apartado de su tutor católico y enviado a la casa de George Abbot, arzobispo de Canterbury, con quien permaneció hasta 1625. El cambio de tutor sería tremendamente importante para el futuro de James, ya que, a diferencia de todos sus parientes de la dinastía Ormonde, él era protestante. Eso hizo que sus relaciones familiares se vieran enrarecidas, ya que en tiempos de Cromwell todos los Ormonde excepto él sufrieron embargos de tierras y discriminación legal a causa de su religión.
En 1625 se trasladó a Irlanda para vivir con su abuelo. En diciembre de 1629 se casó con su prima, Lady Elizabeth Preston, hija y heredera de Richard, duque de Desmond, lo que puso fin a una larga disputa entre ambas familias y unió sus propiedades. En 1632, a la muerte de su abuelo, se convirtió en Earl de Ormonde.
