表：“今年钱粮公事办得极好。朱石翘父台（石翘为朱孙诒之字，父台为对父母官的尊称）不受钱，有能有为，不为吏所惑，除弊务尽，除恶必去。百余年积弊一旦去之，千百抗户一旦乐输，甚非易易。余与赵玉班、朱尧阶、贺石农、刘月槎及潢男（即国藩的二弟曾国潢）等十分辛勤帮石翘父台办成。十月廿四日，我都（指曾家所在的二十四都）米已齐上；各都均踊跃，完粮者欢声载道。至乐捐以弥补上年户房书办亏空。正饷随各姓捐照样，去年粮户两房包征浮收，连捐项尚是减价，并无勉强者。”105又云：“予数月奔走，费钱费力不惜者，因由此好官，得成好事，各都绅耆皆踊跃从事，所以易易也。”
赋税而外的另一件得人心的大事，即整治恶势力，安定地方，由于得到士绅们的支持配合，也得以顺利完成。湘乡如同他处，也有会党活动，还有些为恶乡里的地痞恶霸，纠结宗族势力，偷盗抢劫，抗税抗粮者，共同构成了地方上的不安定因素。朱孙诒在改革弊政的同时，对这类人也出以重拳，一举端掉了有会党背景的熊聪一团伙与左光八等黑恶势力。107士绅们以前对这些人畏避三分，现在有官府牵头整治，众绅极为踊跃，甚至派出数千乡勇参与行动。用竹亭公的话说：“我县粮饷、会匪二事相因，会匪有粮者不少，抗粮之户从此生端，而会匪之羽翼更多，亏欠公项之户房又从而阴护之（李寿七、李寿二等是也），所以不畏官催，不惧国法。今年赖有此好制军，好县官，绅士乃敢出力帮办，真是官清民安。”108官清民安，反之，官不清则民必不安，早晚会酿出大乱子来。可惜这个简单的道理，被私欲蒙住了眼睛的官员往往视而不见，甚至与地方恶势力沆瀣一气，狼狈为奸，直至乱象四起，民心丧尽，方悔之无及，而历史很可能已不会再给他们洗心革面的机会了。
曾国藩是深明这个道理的，他也十分清楚，广西大乱的根源，即出于地方官员的养痈遗患。所以出山伊始，即以除暴安良，安定地方为己任。
方今之务，莫急于剿办土匪一节，会匪、邪教、盗贼、痞棍数者，在在多有。或啸聚山谷，纠结党羽，地方官明明知之，而不敢严办者，其故何哉？盖搜其巢穴，有拒捕之患；畏其党伙，有报复之惧；上宪勘转，有文书之繁；解犯往来，有需索之费。以此数者踌躇于心，是以隐忍不办，幸其伏而未动，故相安于无事而已。岂知一旦窃发，辄酿成巨案，劫狱戕官，即此伏而未动之土匪也。然后悔隐忍慈柔之过，不已晚哉？109
敢不敢动地方黑恶势力，肯不肯下大气力办案，除恶务尽，不仅百姓绅民在看，黑恶势力也在看。拖而不办或敷衍了事，等于是向他们发出错误的信号，百姓会更惧怕，黑恶势力则更有恃无恐，官府之权威会流失，社会原有之正常秩序则被破坏，而动乱也就不远了。曾国藩早就认为，官场多年来养成了一种疲玩的风气，在道光三十年的《应诏求言疏》中，他便一针见血地指出：“京官之办事，通病有二：曰退缩，曰琐屑。外官之办事，通病有二，曰敷衍，曰颟顸。习俗相沿，但求苟安无过，不求振作有为。”如何扭转这种积习颓风，其实早在入仕之初，他对此已有了自己确定的看法。
至于仕途积习，益尚虚文，奸弊所在，蹈之而不怪，知之而不言，彼此涂饰。聊以自保，泄泄成风，阿同骇异。故每私发狂议，谓今日而言治术，则莫若综核名实；今日而言学术，则莫若取笃实践。践履之士，物穷则变，救浮华者莫如质。积玩之后，振之以猛，意在斯乎？110
现在皇帝授权他帮办团练，搜查土匪，不啻给了他一个将多年以来的想法付诸实施的机会，曾国藩当仁不让，开始了他“以猛振玩”的实践。到任伊始，即发布《与湖南各州县公正绅耆书》，宣示要严办四种人。
一、素行不法，惯为猾贼造言惑众者；由地方团练首领、宗族长老“公同处罚，轻则治以家刑，重则置之死地”。
二、逃兵、逃勇，“经过乡里劫掠扰乱者，格杀勿论”。
三、匪徒、痞棍，“聚众排饭（即吃大户），持械抄抢者，格杀勿论”。
四、聚盗成群，啸聚山谷，“小股则密告州县，迅速掩捕；大股则专人来省，或告抚院衙门，或告本处公馆。朝来告，则兵朝发；夕来告，则兵夕发，立时剿办，不逾晷刻。”
公告最后宣示，自己以“‘不要钱，不怕死’六字，时时自矢，以质鬼神，以对君父，即藉以号召吾乡之豪杰”。111曾国藩的话说的既猛又狠，以他一个丁忧在籍的京官与帮办的身份，能够说到做到吗？但他做到了，因为他手里有武装，有军事资本。
咸丰二年四月，太平军进入湖南，攻陷道州时，全省风声鹤唳。在衡州布置防堵事宜的湖广总督程矞采，檄令各府县募集乡勇以备战守。湘乡县令朱孙诒为官清廉，治绩良好，很得士绅百姓的拥戴，故在此事上一呼百应，最初积极参与此事的有廪生罗泽南、112生员王錱、增生罗信南，还有生员刘蓉、谢邦翰、潘鸿焘、易良翰、杨昌濬，武生员杨虎臣、童生易良幹、罗信东、康祖成（康景晖）等，其中大半是罗泽南的学生。由于他们的努力，很快建立起一支千余人的队伍，分为左、中、右三营，每营三百六十人，分别由王錱（左）、罗泽南（中）、罗信南（右）统带，由于骨干多是有知识的书生，故这支队伍的素质很高。当时湖南其他府县，也有编练乡勇的，如新宁（江忠源编练）的楚勇、宝庆府的宝勇、浏阳县的浏勇等，故湘乡来者被称为湘勇。乡勇起初的作用只在保境安民，防御太平军入境。太平军北进湖北，长沙解严后，巡抚张亮基调湘勇赴省城以充实防御，适逢朝廷要曾国藩帮办团练，这支家乡子弟兵便顺理成章地隶于其麾下，成为他用以剿匪的基本力量。
从曾国藩此时的书信中，可以看出他已决意用严酷的手段治乱，而且其想法得到了张亮基等人的支持。胡林翼在贵州剿匪，成绩斐然，曾去信求教，“闻台端刬除强暴，不遗余力，鄙怀欲取为伐柯之则，倘肯授我方略，时示成法，实为厚幸。”113在给老友冯卓怀（树堂）的信中则称：“三四十年来，应杀不杀之人，充满山谷，遂以酿成今日流寇之祸，岂复可姑息优容，养贼作子，重兴萌蘖，而贻大患乎？”114在给江忠源的信中，自言“札各处绅士缚著名之痞匪，差为响应，至则斩刈，不敢复言阴骘。书生好杀，时势使然耳”。115阴骘者，报应也。一般人认为，上天有好生之德，杀人过多，会遭报应，死后亦不得超生。他这番话，既是种自嘲，更表明了豁出去的决心。
在搜剿土匪方面，乡勇战绩斐然。
先是，湖北崇阳钟人杰于道光二十二年末起事，占据崇阳、通城两县，戕杀县官，称王设官。其时浏阳东乡周国虞、曾世珍等人以防寇为名，组编团练，“招聚不逞之徒，为暴乡里，习刀茅，治炮械，志益叵测，邑人多隶名其中”。116周等命名其组织为徵义堂，由于人多势众，俨然成为当地与官府相抗衡的一大势力。太平军进入湖南后，曾派人与徵义堂联络。浏阳团总、廪生王应苹捕获了联络人，得到了周国虞给太平军的复信，被周等杀害。张亮基得讯后，暗地派人探察徵义堂的虚实，并于咸丰二年十二月派江忠源率所部楚勇千人前往浏阳，连战十二日，斩擒千余人，解散胁从者近两万人，消除了这一心腹之患。张亮基随即调任湖广总督，携江忠源部赴湖北，江仅带走四百人，而留江忠济、刘长佑等率楚勇千人留驻长沙。此后，湖南剿匪的担子便落在了曾国藩肩上。
正月二十二日，接到耒阳县的禀报，常宁有土匪啸聚，曾国藩当即委派刘长佑带楚勇五百，王錱带湘勇三百前往围剿。曾氏对他们约束甚严，告诫他们：“军士所过，有取民间一草一木不给钱者，即行正法，望两君日以斯言训儆之。”117刘、王尚在途中，常宁土寇即闻风而散，恰逢衡山曹戭、李跃聚众六百在草市起事，两军分进合击，大破土寇，这是湘勇初次作战，牛刀小试，大获全胜。
五月，江西土寇迫近桂东，罗泽南、王錱率部防堵，斩刈俘获数百人，余者作鸟兽散。
之后，罗泽南、罗信南部赴援江西，王錱率部于湘南郴州、桂阳等地搜剿土匪。七月，兴宁一战，毙俘二百余人，湖南之形势稳定了下来。
在扫除地方黑恶势力上，曾国藩亦施行铁血政策。上任伊始，他便在自己驻节的公馆开设了审案局，“拿获匪徒，立予严讯。即寻常痞匪，如奸胥、蠹役、讼师、光棍之类，亦加倍严惩，不复拘泥成例。”118“匪类解到，重则立决，轻则毙之杖下，又轻则鞭之千百。敝处所为止此三科。巨案则自行汇奏，小者则惟吾专之。期于立办，无所挂碍牵掣于其间。案至即时讯供，即时正法，亦无所期待迁延。”119其严酷无情，在他此时的书信批牍中，可以略见一斑。
对于捉到的土匪或会匪的首犯，他要求一经确认，即行正法，绝不宽待。如巴陵县拿获土匪但其仁等七十一名，先后讯明正法，他批示“实堪嘉尚”，“现闻岳州宵小敛迹，几有道不拾遗之风，可见火烈民畏，乃今日救时之良剂也。更期坚执不懈，讼棍痞匪，一例严办。”120
匪盗之外，地痞讼棍也在打击之列，原因是“地痞讼棍与著名之土匪，气类相合，严办数人，宵小自然敛迹，幸勿稍存姑息也”。121
他主张办案要从快从重，不必拘泥于司法程序。“本部堂办理重大案件，……删一切之繁文，假州县以便宜，以期无案不破，无犯不惩。”122又云：“著名匪犯早正法一日，即免一日之患，斩刈唯恐不速，尚何牵拘文义之有？”123
对于平日为非作恶，鱼肉乡里的差役，国藩称之为蠹虫，批示“亟宜翦除，以靖地方”。“此种集蠹，锄一恶即足以快万众之心，幸勿稍存姑息，久遏民怨。”124
对于乘乱抢劫者，他指示：“办抢劫之案，皆立行正法。其有凭空诬人为盗者，亦立毙杖下。”125
此时，曾国藩身上，已全然不见儒者温和敦厚的影子，而是一副杀气腾腾的法家面目。乱世难有作为，他认为：“今日疲弊疮痍之民，吾辈居官，势不能别有抚摩噢咻之术。但力去害民之人，有案必究，无案不确，则造福于孱民多矣。”126又曰：“除暴安良，为今有司第一要务。否则，弱肉强食，粤逆不到之区，亦为土匪蹂躏不堪矣。”127
但他也并非不问青红皂白，一味主杀。在指示各州县缉盗之批牍中，他亦屡屡指示不可以捕盗之多寡定功过，以免“诬拿平民”；抓获盗贼后，要认真研讯，“以期不枉杀一人，不宽纵一人”；128要求各地对抓获的人犯，“务期研讯详确，无枉无纵”。129
这样，四个月内，“或签派兵役缉拿，或札饬绅士踩捕，或着落户族勒令限期交人，或令事主自行擒缚。一经到案讯明，立予正法。计斩决之犯一百零四名，立毙杖下者二名，监毙狱中者三十一名。”130至于各地依其指示就地诛杀的匪徒痞棍，其人数当几倍于此。
在其大刀阔斧，雷厉风行地从事剿匪除恶的同时，民间也渐渐生出来一种舆论，不少人对他的严刑峻法抱有非议，甚至有人给他起了“曾屠户”、“曾剃头”之类的绰号，但曾国藩悍然不顾。后来，在给翰林院同事龙启瑞的信中，他曾道及自己这样做的原因：
二三十年来，士大夫习于优容苟安，榆修袂而养姁步，倡为一种不黑不白、不痛不痒之风，见有慷慨感激以鸣不平者，则相与议其后，以为是不更事，轻浅而好自见。国藩昔厕六曹，目击此等风味，盖已痛恨刺骨。今年乏承团务，见一二当轴者，自藩弥善，深闭固拒，若恐人之攘臂而与其建业者。欲固执谦德，则于事无济，而于心亦多不可耐，于是攘臂越俎，诛斩匪徒，处分重案，不复以相关白。131
他无视地方官场的规矩，必然会引起忌恨，好在皇帝对他的做法给予了有力的支持，在他《严办土匪以靖地方折》的末尾，加了“办理土匪，必须从严，务期根株净尽”132的朱批。
平心而论，曾国藩的严酷，在当时是必要和及时的。首先，剿匪有助于恢复一度被战乱搅乱的正常秩序，稳定住民心；其次，扫除社会黑恶势力，大大恢复了绅民们对朝廷与官府的信心。从后来事态发展看，收效显著。太平军后几次进军湖南，非但得不到初次入湘时民众的同情与支持，反而遭到各地团练的顽强抵抗而难以落地生根。可以肯定，没有曾国藩这一番猛烈扫荡，湖南稳定不下来，后来便不可能成为东南各省的中流砥柱