刘晔，字子阳，淮南成德人，太中大夫、汉光武子阜陵王之后，刘晔历仕数朝，是曹魏的三朝元老。

刘晔七岁时，母亲去世，其母临终时说：“你父亲刘普的仆人有诬害人的秉性，我担心自己死后会出乱局，希望你和你哥哥刘涣长大后能除去此人。”刘晔十三岁时就按母亲遗命，斩杀了父亲宠信的侍者，而后又坦然向父亲请罪，刘普原先大怒，但知道刘晔的动机后，也对他十分欣赏，不作苛责。汝南许劭善于观人，当时杨州避难，称刘晔有佐世之才。

刘晔二十多岁时，天下大乱，扬州地方的豪强们，大多不愿抑强扶弱，而且狡猾残暴，扬州当地有郑宝、张多、许干等人拥兵自重，其中以郑宝最为骁勇果断，才能和力气都很突出，为当地人所忌惮。当时郑宝想掳略百姓，渡过长江到江南地区，看中了刘晔是当地的高族名人，想要强逼他倡导这个计谋。刘晔知道后很害怕，但都没有被郑宝找到，此时曹操派使者到扬州，刘晔去见使者，论及当前时势，并请使者在他那里停留数日。郑宝于是带数百人，带着牛和酒迎接使者，并等待刘晔，刘晔则在中门外设酒菜饭席给郑宝部众，自己则与郑宝在内宴饮，并暗中要人借敬酒的机会杀掉郑宝。但郑宝原来不好酒，并且很留意他们，令那人不敢下手，刘晔于是亲手用佩刀斩杀郑宝，并斩他的头下来，向他的部众恐吓：“曹公有令，敢有动者，与宝同罪。”部众见此都很震惊和害怕，跑回营舍，当时营中尚有精兵数千，刘晔为防他们作乱，即骑郑宝的马匹到郑宝的营门前，向一些首领陈说祸福利弊，最终众人叩头迎纳刘晔，刘晔入营后安抚群众，令众人归服，更推举刘晔为新首领。但刘晔见汉室衰微，自己亦是皇室宗族，不想拥兵，与是将那些部曲，都委托给庐江太守刘勋。

刘勋当时在江淮之间，有很强的兵力，受到孙策的忌惮，于是孙策派使节特以卑下的言辞，和财宝要求刘勋代为攻打上缭城，刘勋相信孙策，更因收得财宝而十分高兴，各人都祝贺，但刘晔则不感喜悦。刘勋询问，刘晔则说：“上缭虽小，城坚池深，攻难守易不可旬日而举，则兵疲于外，而国内虚，策乘虚而袭我，则后不能独守，是将进屈于敌，退无所归，若军今出，祸今至矣。”但刘勋不听，坚持出兵，而孙策果从后乘虚袭击刘勋，刘勋失败后，投奔曹操，刘晔亦跟随。

说起刘晔第一次见曹操，刘晔本传注引《傅子》中，记载了一个比较有趣的小插曲，曹操征召刘晔、蒋济、胡质等五个扬州名士，一路上，其他四人为了在见面后赢得曹操的赏识，高谈阔论，有时彻夜不眠，只有刘晔独自睡在车中，一言不发。等到见了曹操后，曹操果然问起扬州先贤，敌人的形势，四人争相应对，抢先回答，再次接见，还是如此，曹操每次都非常和颜悦色，只有刘晔一言不发，四人都笑话他。时间一长，曹操觉得无问题而停止发问时，刘晔却说起了不相同的话题，等到曹操领会了就换个话题，这样的情况出现三次，刘晔认为“远言宜征精神，独见以尽其机，不宜猥坐说也”，这几次谈话之后不久，曹操授以蒋济等四人为令，而授刘晔以心腹之任，每遇到疑难的事，就来信询问刘晔，最多时，一夜数十次，从此，刘晔成为曹魏集团的正式成员。

曹操来到寿春，当时山贼陈策在庐江聚众数万人，并据险而守，曹操曾派偏将试图消灭但不果，曹操于是询问群下问可否征伐，很多人都认为山贼据险而守，难以攻克，而且无足轻重，不应征伐，但刘晔认为其实是偏将资历不足，和天下未定而令到山贼仍敢对抗，而当时局势已经大致稳定，应该先悬赏劝降，再用军事实力进逼，那山贼就会自己溃败，曹操同意，并派猛将在前，大军在后，最终如同刘晔所预测般平定陈策，战后曹操辟刘晔为司空仓曹掾。

曹操征伐据守汉中的张鲁，任用刘晔为主簿，当时张鲁弟弟张卫领兵坚守，曹操攻阳平山上各个屯寨，但山势险峻难登，难以攻克，而且士兵死伤甚多，粮食又缺乏，曹操于是打算撤军，命令夏侯惇和许褚呼叫山上的军队撤退，此时有一些军队在夜里误闯张卫别营，营中士兵大惊四散，当时在军队后方的刘晔，见此认为可以取胜，劝夏侯惇等不要退军，夏侯惇见后相信，于是回去告诉曹操，曹操于是进攻张卫，张卫不敌退走。张鲁不久投降，曹操得汉中，刘晔及后即劝曹操进攻刘备新占的蜀地，认为攻占汉中后令蜀人震惊，只要进攻他们就会望风归附，否则让诸葛亮、关羽、张飞等人稳定人心，据守险要，那日后就难以征服。但曹操不听，七日后，有从蜀地投降的人说蜀地人心惶惶，刘备斩杀惊惶者，亦不能安定人心，曹操于是再问刘晔可否进攻，刘晔却说蜀人人心已经较为安定，不能进击，曹操最终回师，及后任行军长史，兼领军队。