IS-2于1943年12月正式投产，但“坦克城”工厂缺乏火炮部件和熟练工人，令其制造进度一度相当缓慢。到1944年1月，只有70辆IS-2完工，然而在厂长萨尔茨曼（Saltzmann）的强力领导下，“坦克城”到同年8月实现了月产250台的指标。二战中，共有3390辆IS-2在此竣工，是德国虎式和虎王坦克的1.85倍——这一点也保证了苏军能源源不断地发起攻势。
　　 苏军为IS-2组建了全新的特殊部队——近卫独立重型坦克团。这些单位被下辖21辆IS-2坦克，每5辆一个连，一共4个连，在前线往往被配属给给方面军、集团军甚至是坦克军，任务是充当尖刀部队，突入德军重兵防卫的前线地段。到1945年，由于IS-2产量充足，不仅大量近卫重型坦克团参加了战斗，还第一次出现了所谓的“近卫重型坦克旅”。
　　 近卫重型坦克旅装备65辆IS-2坦克、3辆SU-76自行火炮和若干装甲车，实力相当于1.5个德军重型装甲营（45辆坦克）。在二战期间，共有7个独立近卫重坦克旅被组建，其中第7和第11近卫坦克旅更因在柏林战役中的作用而彪炳史册。

　　许多书籍虚构了IS-2与虎式捉对厮杀的景象，但这一幕在苏德战争中极少发生：这不只是因为虎式数量稀少，而且上述做法违背了苏军对IS-2的使用原则。从服役后，苏联人便在对IS-2的部署进行调整，尤其检讨了与德军重型坦克的战斗，不久，IS-2便脱离了“坦克猎手”的角色，并成为突击部队的“攻城锤”。在前线，指挥官会选择防御薄弱的地段作为突破口，此时它们的主要阻碍不是德军的重型坦克，而是步兵和反坦克单位，如75毫米反坦克炮和火箭筒小组。具体而言，IS-2肩负的战场任务有三个：首先，是在战斗打响前，运输突击部队抵达战线后方1000米处；其次，是当进攻发起后、在T-34吸引和削弱敌军火力的同时，用大威力主炮摧毁敌军目标；最后，当第一道防线突破时，IS-2坦克团将前进，领导T-34部队发起突破。面对多重防线时，这一战术将被循环执行下去，直到部队达成战斗任务。
　　 防御战中，IS-2经常与重型自行火炮编组，作为“支柱”扼守在敌军的必经之路上。但这些战术施行中遭遇的问题是，由于缺乏通信设备，无论进攻还是防御，突发情况时常会打乱部队的作战安排，使IS-2无法相互配合——这也是IS-2在损失较大的原因所在。

　　IS-2服役之前，苏军普遍存在着“重型坦克一无是处”的看法——尤其是1942年后，曾经令德国人胆战心惊的KV坦克开始暴露出行动缓慢的特点，其引以为豪的装甲面对虎式也不堪一击。
　　但IS-2的服役改变了一切。1944年春季，IS-2坦克在乌克兰首次投入战斗，并逐渐为前线官兵熟知。这些“秘密武器”分布于数十个独立近卫重型坦克团和重型坦克旅，它们在同德军的较量中印证了斯大林的格言：“没有战无不胜的军队。”1944年夏，第57独立近卫重坦克团参加了利沃夫-桑多梅日战役，摧毁了至少34辆敌军坦克，其中6辆是“虎王”，这是IS-2的第一次重大胜利，令德军在1942年后再次感受到苏联重型坦克的威胁。到1945年，IS-2坦克已经成为苏军宣传机器的宠儿、以及攻坚和突破的重要武器。
　　在后方，IS-2的改进也在进行。1944年底开始，一种名为IS-2（1944）型号正式登场，特点是拥有加厚的装甲，车体的防弹性能也得到了改良。战争期间及战后，曾有约250辆IS-2被提供给中国、波兰、匈牙利和古巴等社会主义国家及其军队。