1931年9月18日，日本帝国主义悍然发动对中国东北的武装侵略，由于蒋介石国民党政府采取不抵抗政策，东北的大好河山沦陷敌手。面对山河破碎，人民涂炭，杨靖宇寝食不安，他不能容忍日本侵略者的铁蹄践踏祖国河山。
九一八事变发生后，中共中央于9月20日发表宣言，高举爱国主义旗帜，号召全国人民团结起来，武装反抗日本帝国主义的侵略。九一八事变爆发的第二天，中共满洲省委就发表宣言，揭露日本帝国主义的侵略罪行，号召东北人民行动起来，抵抗日本帝国主义的侵略。由于中共满洲省委驻地奉天（今沈阳）已被日军占领，省委又于 1931年11月遭到敌人破坏，为了更好地领导东北人民开展抗日斗争，满洲省委根据中共中央指示，于12月迁到尚未被日军占领的哈尔滨。杨靖宇出狱后，便前往哈尔滨，要求省委重新分配工作。
两年多的监狱生活，使杨靖宇患上了严重的关节炎，胸部也因敌人灌辣椒水而时常疼痛难忍，身体非常虚弱。省委考虑到杨靖宇在狱中饱受摧残，让他好好休息一下，等身体复原之后再给他分配工作，而杨靖宇却说：“在监狱里并没有累着我，只要我活着，就要斗争，现在国难当头，我怎么能呆得住？”在杨靖宇的迫切要求下，省委决定由他接替全满反日总会党团书记冯仲云的职务，同时兼任哈尔滨市道外区委书记。此后，杨靖宇日夜奔走在工厂、铁路、码头和学校，足迹遍布哈尔滨的三十六棚中东铁路机车修配厂、呼海铁路机车修理厂、船舶修理厂、老巴夺卷烟厂、电车公司、工业大学、市郊农村……，在工人、学生及商人、市民中间，发展反日会组织，动员人民群众参加反日爱国斗争。
杨靖宇在哈尔滨工作期间，生活条件非常艰苦。他经常穿一件又旧又破的灰布大褂，脚上穿着“张嘴”的布鞋，光着头在风雪中行走。当时，党的地下工作者每人每月的生活费是9块“哈大洋”，他经常把节省下来的钱补贴到工作上或帮助其他同志解决困难，而自己却从不乱花一文钱。组织上曾派一位同志来协助杨靖宇工作，这位同志看到杨靖宇的生活非常艰苦，出于对杨靖宇的尊敬和爱戴，时常把自己的生活费省下来给杨靖宇改善伙食。一次在开会回来的路上，这位同志把杨靖宇领到一个小饭店里吃了一顿。杨靖宇问他：“你对别的同志也这样吗？”“不是。”这个同志非常坦率地回答。杨靖宇严肃地对他说：“那为什么对我这样照顾呢？我的生活也很不错嘛，你这样照顾我，使我很不安。如果能把这些钱交给党，作为党的活动经费，不比这样吃到肚子里和穿在身上更有意义吗？！要知道，现在对于党，一文钱都是不可多得的。”
据时任中共满洲省委军委书记的周保中回忆，杨靖宇曾经对他说：“我们是反对旧礼教的，但是可以这样理解，把‘天之将降大任于是人也’，改作劳动人民之寄希望于共产党，党之寄希望于共产党员也。‘必苦其心志，饿其体肤，劳其筋骨，行拂乱其所为’，那些在革命斗争中，经不起考验，而临阵逃脱的，有如朝露，见阳光即散失；有如秋草，经风霜即枯萎。一个普通的人都应该讲求，‘富贵不能淫，贫贱不能移，威武不能屈，’何况是共产党员呢？党员对党的革命事业必须具备‘鞠躬尽瘁，死而后已’的精神。”后来，周保中把杨靖宇的这些话当成“留给革命同志的诫语”。
1932年1月，日本侵略军不甘心上年11月在嫩江桥被以马占山为首的抗日义勇军痛击的惨败，一面重新调遣兵力向哈尔滨进犯，一面“邀请”马占山在松花江北的松浦举行谈判，企图诱骗马占山投降。杨靖宇得知这一情况后，马上赶到松浦，在工人中揭露日本帝国主义假谈判真侵略的阴谋，通过呼（兰）海（伦）路党组织提醒马占山不要上当受骗。为阻止日军进攻马占山部，杨靖宇协同呼海路党组织带领铁路工人将松浦站的机车全部开到绥化，把呼兰铁路桥拆毁，切断铁路交通，使日军这次诱降马占山部义勇军的计划破产。
1932年2月5日，日军侵占哈尔滨。在日伪统治下的哈尔滨，军警宪特随处可见，革命者被监视、跟踪、搜查、逮捕的事时有发生。杨靖宇有丰富的在复杂环境中工作的经验，经常机智果敢地躲过一次又一次敌人密探和走狗的跟踪，多次化险为夷。
在公共汽车上，杨靖宇为了避免“暴露”自己浓重的河南口音，总是在上车前就把零钱准备好，买票时主动把钱递过去，避免开口说话，以免被敌人密探发现他是外乡人，造成不必要的麻烦。
一次，杨靖宇与团市委的姜椿芳相约在松花江边谈工作。他们坐在松花江岸，一边谈话，一边看着顺流而下的冰块。突然有一架日本飞机在天空上盘旋，杨靖宇幽默而严肃地说：“日本帝国主义向我们示威了，但他们的日子是长不了的。”说着说着，他突然高声大笑起来，并且顺手从地上拣起一个石子抛向江心的大冰块，那悠闲的神态好似毫无目的的游人一样。姜椿芳对杨靖宇的这一举动感到莫明其妙，过了片刻，杨靖宇才解释到：“刚才有一个人站在我们后面的江岸上，如果发现我们总是板着脸谈话，就会增加他的猜疑，所以只得用一声高笑把他打发走。”说着，他们站起身来，一边装作欣赏江边的美景，一边继续谈论着工作。
还有一次，杨靖宇带着机密文件从省委出来，发现在回去的必经之路上有日本哨兵正对来往行人严加盘查。他急中生智，沉着冷静地朝着敌哨兵走去，并且若无其事地解开布衫，主动地让敌人检查。就在他解开衣扣的瞬间，杨靖宇趁敌人不备，把文件掖进了卷起的袖筒里，结果敌人没有从他身上翻出任何东西。
1932年夏天，哈尔滨遭受了罕见的水灾，滔滔的洪水把沿江两岸的房屋冲垮淹没。马路上、公园里到处是无家可归的难民，全市有一半以上的人口受灾，许多难民无衣无食，住在简易的窝棚里。为了揭露日伪当局不顾百姓死活，利用红十字会宣传迷信，来掩盖他们不修护江堤、不提前设防的罪行，杨靖宇来到难民中间进行演讲：“同胞们，我们不能做无知的愚民，大家要想想，是谁不修江堤？！不顾我们的死活？！是谁在敲诈勒索？！……”他的话讲到了人们的心坎上，难民们群情激愤。杨靖宇利用这一时机，组织党员和进步青年，向他们宣传抗日救国的道理，并领导难民向伪市政当局展开反饥饿、争生存的斗争。由于杨靖宇指挥有方，难民们团结一致，不达目的决不罢休，伪当局害怕发生不测，被迫答应难民提出的条件，斗争取得了胜利。
在哈尔滨工作期间，杨靖宇于 1932年5月担任了中共哈尔滨市委书记。由于杨靖宇的努力，哈尔滨党组织得到迅速发展，尤其是呼海路一些较大的车站都建立了党的支部或小组，在司机、司炉、乘务员、扳道工人中都发展了党员，省委印发的标语传单一夜之间就能在呼海路沿线张贴出去。与此同时，共青团和反日会也有很大发展，在党的领导下积极开展反日活动，甚至在伪满统治机构的办公桌上都时常会出现一些反日小报或反日传单，使敌人防不胜防。
1932年9月，中共满洲省委根据工作需要，决定由杨靖宇兼任省委军委书记（代理），在负责市委工作的同时兼管士兵运动和建立抗日武装工作。从此，他又把全部精力投入到建立党领导的抗日武装，领导开展东北抗日游击战争的工作中。
初审：段周宏
复审：尹是罡
终审：闫 振