汉献帝初平二年（公元191年），山东青州黄巾军和河北黑山军又像野火燎原般复燃起来。袁绍以讨伐董卓盟主的身份，命令曹操领兵前往东郡镇压黑山军。
曹操在河南濮阳击败黑山军一部，得到一块地盘。袁绍送了个顺水人情，任命曹操为东郡太守。过去朝廷曾经任命曹操去当东郡太守，他没有接受。这次袁绍任命他当东郡太守，他欣然接受了，因为曹操要在中原先打出一片自己的立足之地。
东郡曹操及周边势力
这时，谋士荀彧前来投奔曹操。荀彧出身名门，父亲荀绲曾任济南相，叔父荀爽官至司空。他本人曾任亢父（今山东济宁市南五十里）县令，董卓之乱起，他弃官回乡。袁绍曾把荀彧招至帐下，厚待之。荀彧通过一段时间的接触和观察，断定袁绍成不了大事，转投曹操。曹操见荀彧来投，大悦，把荀彧比作张良：“吾子房也！”那一年荀彧二十九岁，风华正茂。
初平三年（公元192年），黄巾军进攻兖州（治今山东鄄城），兖州牧刘岱战死，兖州一时无主。东郡隶属于兖州，东郡人陈宫前往兖州，对兖州官员和地方大族说，曹操才干出众，如果能把曹操请来做兖州牧，一定能打败黄巾军，保住兖州一方平安。曹操的好友骑都尉鲍信这时也在兖州，一起出面游说。
兖州官吏和地方大族被说服，派兖州府官员万潜为代表，跟随鲍信一起到东郡，把三十八岁的曹操接去当了兖州牧。但曹操当的这个兖州牧，既不是朝廷正式任命，也不是民间选举，等于是兖州地方势力临时“聘任”了他。
曹操上任伊始，就与鲍信领兵去进攻寿张（今山东东平西南）的黄巾军，鲍信战死。曹操十分痛惜，悬赏购回鲍信尸体安葬而不得，只能刻一个木头人，面目有点像鲍信，权当鲍信尸体安葬，曹操“祭而哭焉”。
曹操及时总结经验教训，明设赏罚，艰苦战斗，青州黄巾军向济北败退，曹操乘胜追击，以武力进攻与劝降、诱降相结合，三十多万青州黄巾军向曹操投降，跟随的眷属百姓上百万。曹操从中挑选出约两万人，成立了一支青州兵。
兖州3国5郡
随后的日子里，曹操为巩固兖州这片立足之地，进行了艰苦卓绝的斗争。
南阳军阀袁术，鼓动黑山军残部和南匈奴于夫罗从北面向兖州进攻；袁术从南面向兖州进逼，企图南北夹击，夺取兖州。曹操首先把北面的黑山军残部和南匈奴于夫罗势力击退，然后集中主力，向驻扎在封丘（今河南封丘）的袁术发起反击。
曹操先打驻扎在匡亭（今河南长垣县西南）的袁术部将刘详，引诱袁术前来救援，在半路布下伏兵，一举将袁术击溃。袁术望风而逃，曹操乘胜追击，袁术一直逃到九江，来自南阳方向的威胁从此减轻。
徐州牧陶谦，也与曹操为敌，不断蚕食兖州。灵帝死后，曹操父亲曹嵩“去官后还谯，董卓之乱，避难琅邪（今山东胶东半岛南部之胶南县）”。初平四年（公元193年）夏天，曹操派人到琅邪去接父亲曹嵩及弟弟曹德来兖州。
曹嵩父子西行至山东黄县，被陶谦部将张闿袭杀，一百多车财物被抢劫一空。曹操无法容忍陶谦杀父、杀弟、劫财之仇，同年秋天，亲率大军东征徐州。曹操怀着强烈的复仇心理，一路攻掠，屠城而进，“凡杀男女数十万人”。这也是后来曹操经常被人诟病的事件之一。不久曹操军队由于军粮吃尽，只得退兵。
193年中原局势
第二年四月，曹操再次东征陶谦，大军进入徐州境内，连下五城。正在这时，兖州后院起火，张邈和陈宫在兖州反叛曹操。陈宫曾是促成曹操去当兖州牧的说客，后来在曹操手下为将。由于兖州名士边让“讥议”曹操，被曹操杀掉，引起兖州士人恐慌，陈宫觉得无法向兖州地方势力交代。这时他去鼓动陈留太守张邈，乘曹操东征，内部空虚，反叛曹操。
张邈本来是曹操的好友，当初曹操是位“政治流浪汉”，没有自己的立足之地，却为讨伐董卓东奔西走，张邈同情曹操，当面斥责“盟主”袁绍只为自己打算，袁绍愤恨张邈，让曹操杀掉张邈。曹操没有理睬，张邈感激曹操。
但自从曹操当上了兖州牧，成了张邈的顶头上司，张邈感到与曹操相处时间一长，产生政见分歧是不可避免的。又想起袁绍曾要曹操杀掉自己，曹操当时没有杀，今后会不会杀？陈宫跑来一鼓动，张邈就同意反叛曹操。
这时又插进来一个吕布。
吕布在长安被李傕等击败，出关东来，投奔袁术，袁术不留。又北投袁绍，与袁绍一起在常山郡击败了一支黑山军。但吕布的军队军纪极差，抢掠不已。袁绍觉得吕布迟早要成祸害，准备除掉吕布。吕布察觉，南下投奔河内张杨。
陈宫与张邈觉得自己力量不够，派人到河内去请吕布来当兖州牧，顶替曹操。于是，陈宫、张邈、吕布三人合谋，以吕布为将，起兵夺取兖州。陈宫和张邈在当地长期为官，有人望，他们打出反曹旗帜，“郡县皆应”，倒向吕布。
兖州治所在鄄城，荀彧在鄄城留守，鄄城形势危急，他火速把驻守东郡的大将夏侯惇调回鄄城，先把城内响应张邈、陈宫反叛的一些人杀掉，稳住了鄄城局面。程昱是东阿人，荀彧急派程昱回东阿和范县说服当地官吏和守军决不能向吕布军投降。
吕布攻打鄄城、范县、东阿，均未攻下，于是西撤至濮阳，屯兵休整，准备再战。
曹操紧急赶回鄄城，讥笑吕布不会用兵。他说，如果吕布占领东平（今山东东平），再守住亢父等泰山险要隘口，阻止我西返，我就完了。他屯兵濮阳，说明他不可能有大作为。
随后，曹操展开了兖州保卫战。兴平元年（公元194年）夏，曹操抢收麦子，储备军粮。八月，联络濮阳大姓田氏做内应，从东门攻进濮阳，进城后火烧东门，以示有进无退。
吕布的骑兵很厉害，他以骑兵冲击曹操的步兵，曹军大乱，曹操差一点被吕布抓住。曹操冒火冲出东门，收拢部队，赶制攻城器械，再次攻城，未攻下。双方对峙了一百多天，由于发生严重蝗灾，老百姓无粮，人吃人。曹操和吕布双方都因没有军粮而罢兵。
曹操由于兖州大部分地盘丢失，军队又断粮，几乎无法坚持下去，陷入了严重困难。这时袁绍向他抛出橄榄枝，让他把家眷搬到邺城去。袁绍的用意是以曹操家眷为人质，逼迫曹操为他所用。程昱立即劝阻曹操说：袁绍野心太大，智谋太差，成不了大事，虽然眼下兖州残缺，但手里还有三座城池一万兵，只要咬牙渡过眼前的难关，就大业可成！
曹操听罢，精神一振，谢绝了袁绍的“好意”，忍痛遣散了新招募来的兵员和力役，到东阿一带去筹粮。经过半年休整，曹操军队基本恢复了元气。
兴平二年（公元195年）正月，曹操为收复兖州再度发动攻势。首先袭击兖州重镇定陶，吕布前来救援，被击退。闰四月，又在巨野大败吕布，斩杀吕布手下两员大将薛兰和李封。曹操领兵进驻济阴乘氏县（今山东巨野西南五十里），进行休整。
这时传来消息，徐州牧陶谦去世。曹操本想乘机夺取徐州，再回过头来解决吕布。他这个危险的想法一冒头，马上被荀彧劝住。
荀彧说：你在陈留起兵（陈留属兖州），又在兖州得到发展，兖州是你自己打出来的一片立足之地。想当年，刘邦定关中而得全国，刘秀定河北而得全国。你现在兖州尚未完全恢复和巩固，就想冒险东征徐州，如果吕布乘虚攻占兖州，你回哪里去？兖州地处中原，天下中枢，南北要冲，靠近故都洛阳，这是一块宝地，是你安身立命谋天下的根基所在，万不可失。艰难曲折并不可怕，怕就怕东奔西突，没有一块地方扎根。
曹操耐心听罢，东望徐州，一声长叹，多好的机会啊！但荀彧言之有理，先守住兖州，缓攻徐州。
刘备乘机填补了陶谦死后的真空，当上了徐州牧。
曹操这个人，与刘邦又同又不同。相同之处在于，两人都善纳忠言。不同之处在于，刘邦本人的谋略水平并不十分高明，全靠张良、陈平、萧何等人给他出点子。在关键时刻、关键问题上，他都能听得进劝，压得住火，按照谋士们的意见去办。曹操不同，曹操本人的才智谋略高于一般人。但人都是感情动物，一个人无论才智多高，也会有感情失控、失去理智的时候。
曹操经常有耐不住性子、压不住火气的时候，由此做出过不少莽撞举动，付出过很大代价。例如，杀掉兖州名士边让；东征徐州时为了替被杀的父亲和弟弟报仇，屠杀了几十万无辜的老百姓。这两件事名声损失太大。但曹操很善于及时总结经验教训，毛玠、荀彧等谋士在关键时刻、关键问题上也敢于向他进言。只要曹操觉得谋士的分析见解高于自己，他就能忍痛放弃自己的意见，按谋士的意见办。
吕布、陈宫再次向曹操发动进攻，曹操组织军队外出抢收麦子，留守兵员不到一千人。吕布见曹军后方林木幽深，疑有伏兵，撤退而去。第二天又来进攻，曹操这一天真的在大堤内布置了伏兵，留一半兵员在堤外。双方交火，曹操伏兵尽出，吕布大败。曹操一举攻克定陶，并乘胜收复了兖州各县。
曹操左劈右挡，艰难地巩固住了兖州这块根据地。从此以后，他结束了东奔西突、寄人篱下的生活。兴平二年（公元195年）冬十月，“天子拜太祖兖州牧”（《三国志·魏书·武帝纪》），这等于朝廷为曹操正式补办了兖州牧的任命手续。曹操又乘胜攻占了豫州的大部分地盘，并把本部迁到许昌，在中原占据了更加有利的战略位置。
事情似乎历来如此，你只要把仗打胜了，迟早会有你的地位。曹操就是这样走向了历史的舞台，拿下兖州成为日后称霸北方的政治资本。历史选择了曹操，曹操本人也有充分准备和野心，双方共同成就了一代枭雄的诞生。
