李文忠非常喜歡登山、打籃球。妻子楊淑惠則是他從政後和他結婚的。2001年5月，李文忠與結婚10年的妻子離婚，有兩個小孩。