乐姓主要有两大起源，一是源自子姓，最早可以追溯到春秋时期的宋国王室子衎，他字乐父，因此他的孙子子夷父就以“乐父”为姓，最终简称为乐姓。二是源自姬姓，姬姓乐氏的始祖被认为是春秋时期的晋国大夫乐王鲋，后人就以“乐王”为姓，最终简化为乐姓。
1. 源自子姓
子姓乐氏最早可以追溯到西周时期，当时宋国国君宋微子的儿子-公子衎字乐父，之后子衎生下了倾父泽，倾父泽又生下了夷父须，也叫做子夷父，也就是这一代随着祖父子衎的字改了姓，也就是“乐父”为姓，最终简化为乐姓，而这一分支也是乐姓最正宗的一脉。
2. 源自姬姓
虽然历史上并没有关于乐王鲋的详细记载，只知道他字叔鱼，是春秋时期晋国的大夫，非常受晋平公的赏识，但是部分乐姓族人还是认为他就是乐姓的始祖，乐王鲋是复姓为“乐王”，所以他的后人最终将其简化为乐姓或者王姓。也形成了乐姓的一大分支。
3. 源自官职名
乐姓还有部分族人则是源自官职名改姓而来的，比如西周初期负责奏乐的大司乐、乐人以及大乐正等，几乎都被统称为“乐正”,而这些官吏的后代也就以“乐正氏”为姓了，经过世代的传承，最终简化为了乐姓或者伶姓。
4. 源自地名
乐姓还有一脉是源自夜郎国中的乐王邑，也就是今天的贵州省黔西南地区，夜郎自大的成语就是出自这里，当时乐王邑也被称为金洲，这里的百姓在之后归顺于大汉朝，最终就进行了汉化，所以遗民就以故地为姓，也就是“乐王氏”，大多都是现代的苗族同胞，最终简化为乐姓和王姓。
5. 源自避难改姓
与赵姓起源和来历一样，乐姓中其实也有少数改姓和赐姓而来的，比如南宋时期的抗金名将岳飞的后人就为了躲避秦桧的加害，于是将“岳”改为了同音的“乐”，最终分为三股逃到了南方，也就形成了乐姓氏族的一部分。
