张直被处死后，不但阳翟的贵族豪强们为之敛息，纷纷讨好荀贞，使他颇有当年曹操用五色棒杖死蹇硕从父后，洛阳权贵“为之敛迹，莫敢犯也”的风采，而且他在军中的威望也得到了极大的提升。
荀贞的部众来源很杂，有西乡的轻侠和乡民，有荀氏和颍阴刘氏的族人，有铁官徒，有因为战乱、为了报仇而参军的各县百姓，也有从黄巾军俘虏中选出的死士。在迎敌时，他们会团结在荀贞的旗帜下，但在战后，虽然荀贞对他们恩威并施，从来不吝赏赐，可指望在这么短的时间内就能获得他们全部的诚心效忠也是不太现实的，如今通过张直之事，荀贞明显感觉到，全营兵卒对他的敬畏又上了一个台阶。
趁着这股东风，他把之前决定对部队进行整编的事情提上了案头。
首先，实现他对铁官徒的承诺，请求文太守免掉其中有功者的罪，给他们赐下爵位，把愿意留下追从他的铁官徒转入郡兵。
其次，抚恤伤亡者，让余下的部卒自己决定是归家、还是接着跟从他出征。
这两件事说来简单，办起来还是挺麻烦的。
最简单的是请文太守免去铁官徒其中有功者的罪和赐给有功者爵位，这是早就说好的事，文太守没有拒绝的道理。
办过此事，荀贞令乐进、江鹄、小夏把铁官徒们集合起来，让他们自主选择去留，明言：“若是尔等不愿再从军，我不勉强，会给你们遣散路费。若是尔等愿意继续从军，我请示过府君了，可以把尔等转入郡兵，尔等有功劳在身的，可以在郡兵中做一个武职小吏。”
铁官徒多是亡命徒，正如荀贞早前的猜测，大部分人选择了后者，只有数十人选择了回家。荀贞说话算数，当场给他们发放了路费。他如此仁义，铁官徒们十分感恩，已经决定留下的那些不说，数十个打算归家的又有十几人因此而改变了主意，决定留下来转为郡兵。
前几天文太守下了道檄令，命郡兵曹充实郡兵。荀贞将这些铁官徒们的名字报上去，很顺利地就将他们转为了郡兵。郡中本有郡卒千余人，加上这数百铁官徒，现今共有两千余人。荀贞任高素、冯巩等为军官，并从西乡轻侠、荀氏族人中选了一些也同时转入郡兵里担任军职。
文太守早先下给郡兵曹的檄令包含了两个方面的内容，除了充实郡兵外，还令郡兵曹拟一份郡卒操练的新计划。许仲奉荀贞之令，制定出来了一份计划，呈给荀贞看。荀贞看后，修改了几处，呈给给文太守，文太守批复同意。
忙了两天，郡兵、铁官徒这一块儿办理妥当。
接着就是整编的第二步：抚恤伤亡者，重编部曲。
前前后后跟着荀贞出战的兵卒共有三千多人，现今剩下的不到三千人，阵亡了数百人，对这阵亡的数百人，荀贞在战后第一时间就发下了抚恤，只是因为当时还未安定，所以没有送到这些亡者的家中，如今可以分头派人把抚恤的钱财送给他们的家人了。
有汉以来，这么仁义的带兵将军实在不多，这又让兵卒们坚定了跟从荀贞的决心。不但如此，说句题外话，那些给阵亡士卒送抚恤的人归来后，荀贞惊奇的发现，他们居然带回来了不少人，有的带一两个，有的带十几个，总共也有一两百人，都是那些阵亡士卒的族人或者乡人，因为从没见过给阵亡者主动送去抚恤的事，也因为服气荀贞的威名，故此这些人专门前来投军。当然，这都是后来的事儿了，不必多言。
抚恤完阵亡者，接下来就是重编部众。
除掉铁官徒，还有兵卒两千出头。这两千多兵卒里有青壮，也有老弱，比如拨给荀成的那个辎重营里就多是老弱，如今颍川本郡的战事已经完毕，将要出郡作战，再带着这些老弱就不合适了，没准儿会拖累全军，因此，荀贞给他们各发了一笔钱，叫他们各自归家。有十几个老弱无家可归，家被黄巾军毁掉了，也没亲戚可投，没处可去，荀贞收容了他们，反正他已叫荀成回颍阴去买田买地，建立庄园了，不多这么几个人安置。
淘汰掉老弱，剩余精壮一千八百余人，这一千八百余人皆为颍川本郡人，有三百多人故土难离，不愿再跟着荀贞出战，荀贞给他们发放了路费，放他们归家，留下来的共有一千五百人。荀贞从中选出了勇敢善战的一千二百人，准备用为部曲，征得余下三百人的同意，将之转为了自家的宾客、徒附。至此，改编完成。
汉家兵制：一曲二百人。他留下的这一千二百人，刚好可以组成六个曲。
他集合全军之力，把与黄巾军历次作战的缴获也都加上，凑出了两百匹可用之战马，选出了两百个擅长骑射的兵卒，首先组成了一个骑兵曲号为“突骑”，任命辛瑷为此曲之长官。接着又凑出了两百具精甲，以刘邓原本的陷阵曲为底子，又组成了一支两百人的甲士部队，依旧号为“陷阵”，由刘邓为长官。又以许仲麾下的弓弩手为底子，组成了一支两百人的弓弩部队，号为“破敌”，以许仲为长官。又选荀氏族人、颍阴刘氏族人、西乡乡民共计两百人组成一曲，因为这些人都是宗族子弟、颍阴同乡，而荀贞人称“乳虎”，故此为示亲近，号为“虎士”，以荀成为首。余下四百人组成了两曲，也分别给以美名，由江禽、陈褒分别统带之。
六个曲，五个步卒曲，一个骑兵曲。荀贞将骑兵曲放在身边，亲自指挥，将五个步卒曲编为了一部。虽然只有一千二百人，但是兵种齐全，有骑、有射、有甲士、有轻装步卒。组建完成后，荀贞搞了一次小规模的阅兵，他站在将台之上，望着整整齐齐立在营中场上的虎狼们，颇是满意，很想抚须问一问立在左右的荀攸、戏志才：“二君观我义从如何？”觉得这未免显得他有点“小人得志”，将这句话咽了回去。
一晃眼，离波才、何曼之覆灭已经过去了小半个月，荀贞心道：“朝廷的令旨也许很快就要下来了。我部义从刚刚整编完毕，需得加强操练，以应付即将迎来的战事。”
他是个想到就做的人，给了全营半天的休整时间，次日开始，除了荀成因为要去颍阴买田，并安置那三百转为荀贞门下宾客、徒附的兵卒，不能参加训练外，余下的全营士卒统一集训，由许仲、刘邓、辛瑷、江禽、陈褒等人监督指挥。
荀贞有公职在身，无法全天都在，每天下值之后却必会来营中一次，从营中的士卒中抽选一曲来检查当天的训练情况，表现得好便给赏，表现得不好也不处罚士卒，而是处罚从曲长以下的各级军官。如此这般，每日练兵不辍，习射练武，排演阵法。