樂以琴原名「樂以鐘」，出生於四川省雅安市蘆山縣的一個浸禮會基督教家庭。父親樂伯英經營「義豐全」水煙生意和茶莊，母親邱福為藏族人，是康定邱家鍋莊莊主之女。