了偷肉的老鼠和吃剩的肉，陈述老鼠的罪状，拷打审问，传出审问记录的文书，写明了经过审问判决上报的程序，并提取盗鼠和余肉，完成了审判程序，案卷齐备，在厅堂下面肢解了盗鼠。他父亲见到这情景，看到他判决的文辞像老练的法官一样，非常惊奇，就让他学习刑狱文书。

他父亲死后，张汤担任长安县吏。周阳侯田胜担任九卿的时候，曾经被关在长安监狱里，张汤竭尽全力帮助关照他。等到周阳侯出狱后封了侯爵，跟张汤非常友好，把张汤介绍给那些要人。张汤为内史下属，任宁成的属官，宁成认为张汤才能无比，推荐给丞相府，调任茂陵尉，主持陵墓土建工程。

武安侯担任丞相，调张汤担任丞相府的属吏。并把他推荐给皇帝，担任了侍御史。在处理陈皇后巫蛊案时，深入追究其党羽，皇上认为他能干，提升为太中大夫。他和赵禹共同制定各种法令，注重苛捆严峻，严格约束在职的官吏。不久，赵禹升少府，张汤担任廷尉，两人相友好，张荡对待鱼过有如兄长。！蝎为人廉洁倨傲，巫汤喜欢玩弄智谋来驾御别人。他起初当上小官，投机取利，跟长安富商田甲、鱼翁叔之辈暗中勾结。等到他居于九卿之位，就招纳全国的知名人士和官吏，自己内心虽跟他们意见不合，但又假装敬仰他们。

这时皇上正喜好儒学，张汤判决大案，想要附会古义，于是请博士弟子研习《尚书》、　《春秋》，担任廷尉史，调平法令的可疑处。上奏判决疑难案件，一定要预先给皇上分析各方面的原由，凡皇上所肯定的，就接受作为依法判决的案例入廷尉的成文法规，来宣扬主上的圣明。报告工作如受谴责，张汤就承认错误而谢罪，顺着皇上的意向，一定要举出贤能的助理官员或办事吏员说道：　“他们本来向我建议，正像皇上所要求我的一样。我没有采用，才愚蠢到了这种地步。”因此他的过错常常得到宽恕。他有时上奏章议事，皇上赞许那个奏章，他就说：　“我不知道写这样的奏章，这是监、掾、史中某某写的。”他想要推荐部下，宣扬某人的长处或者掩饰某人的短处就是这样。办理的案件如果是皇上想要加罪的，就把它交给执法严苛的监吏办理；所办案件如果是皇上想要宽容的，他就把案子交给执法轻平的监吏去办。所审判的如果是豪强，他一定玩弄法律条文严加惩办；遇上贫穷人家被审判，常说“就是按法律定了罪，皇上还要裁断审察”于是往往如张汤所说。张汤虽做到大官，私生活很严肃，结交宾客，款待饮食，对于充当属吏的老朋友子弟以及贫穷的本族兄弟，照顾得更加优厚。他前去问候三公，不避严寒酷暑。因此张汤虽用法深刻，内心不能纯正公平处事，却得到了这点好名声。而多数替他出力的苛刻阴毒的官吏，多数藉助于儒学之士。丞相公孙弘多次称赞他。

等到查办淮南王、衡山王、江都王谋反的案件时，都是追根究底。严助和伍被，皇上想要赦免他们，张汤争辩说：“伍被本来策划谋反，而严助深得宠幸，是出入宫廷禁门的心腹臣子，却私通诸侯，像这样的人不杀掉，以后类似情况不好处理。”于是皇上同意了对他们的判决。他办理案件打击大臣以为是自己的功劳，这类事情很多。于是张汤更加受尊宠信任，不久就升任御史大夫。