北汉自郭威建立后周时便与之为世仇，建宋之后两国交恶的形势依旧没有改变。

赵大为铲除割据政权，完成统一全国的大业，与宰相赵普商议，参考后周显德二年（公元955年）北部郎中王朴所献“平边策”，制定了“先南后北、先易后难”的统一战争战略方针，准备首先吞并南方各割据政权，在取得南方雄厚的人力物力后，再集中力量对付北面的强敌辽国，消灭北汉。

因北汉比较弱小，且处于战略要地河东，为阻遏其与辽军南下来袭，宋军常对北汉以攻为守，先后发动多次进攻，企图相机进取。

譬如在乾德元年（公元963年）七月，赵大在平定荆湖谋伐后蜀之际，就曾派安国节度使王全斌等进入北汉边地试探性的征伐北汉。

北汉睿宗刘钧向辽乞援，想对宋打反击战。

王全斌等则趁辽尚未发兵，夺占北汉乐平，并攻打辽、石二州，未果而撤退。

次年正月，宋军又来进攻辽、石等州，北汉辽州刺史杜延韬降宋，北汉再次向辽告急，辽穆宗耶律璟发骑兵六万驰援，将宋军击退，成功助北汉解围。

开宝元年（公元968年）平定后蜀之后，北汉国主刘钧刚死，人心未定，赵大趁机突然转兵大举进攻北汉。

八月宋军进兵太原，九月北汉内部便发生动乱，时任供奉官的侯霸荣杀死北汉新主薛继恩，司空郭无为又设计杀死候霸荣，迎立太原尹刘继元为国主。

新君刘继元见宋军已入其境，急忙向辽请援，同时命侍卫都虞候刘继业、冯进珂等领兵扼守团柏谷以拒宋军，可惜敌我实力相差悬殊，宋军轻而易举的击败北汉守军击，直逼太原城下。

十月，赵大遣使至太原劝降，刘继元拒绝降宋。

十一月，辽军兵马总管塔尔率大军救援北汉，逼进太原。

时任昭义军节度使的李继勋因久攻太原不下，辽军又至，遂引兵南归。北汉军乘机发动追击，进掠大宋晋、绛两州人口、粮草、牛羊归北汉者无可计数。

开宝二年（公元969年）二月，赵大命曹彬、党进各领兵先赴太原，又御驾亲征在后，誓要一战灭北汉国。

刘继业、冯进珂二将得知赵大已至潞州，并派李继勋率前军赶往团柏谷，自知寡不敌众，放弃太谷奔还太原。

因大雨连绵十多日，等到三月时赵大才赶到太原。

因先前数次较量中清楚的认识到了太原城之坚固，又恰巧暴雨诱使河水猛涨，遂征发当地民工数万人，修筑长墙包围太原，并筑长堤，引汾水灌城，多方进攻。

然而太原军的抵抗意志实在超乎寻常，这般恶劣的环境中硬是抵抗了三个多月，致使宋军迟迟无法破城。

以至于到了夏季，天气酷热，宋军营中数万人患上疫病，又逢辽军出兵救援北汉再三权衡之下，赵大只能选择退兵。

出乎众人意料的在于赵大撤军没出两天，太原城墙就因为先被水淹再被烈日暴晒，出现了大面积的龟裂，甚至有多处垮塌。

这也就是说如果最开始赵大不急着攻城，而是先让太原泡几天水，再把水抽干暴晒，那不用宋军动手，城墙自己就会倒塌了。

赵大等君臣得知此事后也是追悔莫及，只可惜现实就是现实，没有如果发生。

开宝八年（公元975年）十月，南方最后一个大国南唐也被征服，赵大再兴北伐之举，并准备收复燕云。

次年八月，先派侍卫马军都指挥使党进、宣徽北院使潘美等分率五路军马又双叒叕云集太原城下，与北汉军和来援的辽军展开激战。

然而，就在宋军得胜北汉将亡的关键时刻，远在汴梁的赵大突然驾崩，他的死再一次打乱了宋朝内部的政治格局，以至于潘美等部亦受影响，北汉再一次摆脱亡国之危。