東北三省雖然被沙俄侵佔了，但是廣大人民群眾並沒有被侵略軍的婬威所屈服。他們紛紛組織起來，在北起大小興安嶺，南至黃海、渤海之濱的廣闊地域內，進行「御俄寇，復國土」的武裝鬥爭。八國聯軍統帥瓦德西在給德皇的報告中說：「俄國佔領滿洲一事，曾遇不少困難」。中國東北地區「常有武裝完備之騎兵數百成群，襲擊俄軍，使其坐臥不寧」。１在東北三省中，吉林省的群眾武裝抗俄組織聲勢最大。力主投降議和的吉林將軍長順曾奏稱：吉林省鎊處「土匪」四起，「聚集大股」，「負嵎自固，往往俄兵前往剿捕，亦屢多挫失」。１
在吉林抗俄群眾武裝中，規模較大者有三支：一是以劉永和（綽號劉單子或劉彈子）為首的忠義軍；一是以王和達、董教敏為首的義和團餘部及農民軍；一是以楊玉麟（又稱楊毓林）為首的鎮東軍。劉永和原籍山東，獵戶出身，早年在吉林琿春一帶投身「綠林」，因槍法出眾，成為首領。1900年7月，他率部協助琿春副都統英聯所部清軍在琿春一帶抗擊俄軍。琿春失守後，他率部西走，沿途吸收了一部分被打散的清軍兵弁，後在磨盤山（今盤石）一帶繼續抗擊俄兵。11月，劉永和率部進攻朝陽鎮（今輝南），擊敗前往鎮壓的清軍海龍總管依凌阿部，進入通化縣境，並於12月攻克通化縣城。王和達是貧苦農民，董教敏是通化縣的老道，他們率領的隊伍活動於海龍、通化交界一帶的山區。楊玉麟是盛京省扒平人，先在長順收編的清軍鎮東營唐殿榮部任幫帶，唐被部下刺死後，楊被推舉為該部首領。楊即以鎮東軍官軍名義進入朝陽和海龍，後因部下不願「受官家約束」，便獨立活動於附近各地。1901年1月下旬，上述三支抗俄義軍以及被吸收的地方團練李貴春部，在海龍實行聯合，統稱忠義軍，劉永和被推舉為總統，統率全軍。忠義軍基本沿用綠營編制，總統以下有幫統、統領、營官、幫帶、哨長等。與劉永和兄弟相稱的劉秉和（綽號黑劉）為幫統，王和達、董教敏、李貴春、楊玉麟等為統領，各統率數營。忠義軍共編有四十營，擁眾數萬。
除民眾抗俄武裝外，還有晉昌、壽長率領的清軍萬餘人，在奉天失陷以後，於法庫門等地繼續堅持抗俄鬥爭。
忠義軍有力地打擊了沙俄侵略者。他們利用通化、海龍一帶的有利地形，時而蔭蔽於深山密林之中，時而出現於交通要道之間，或聲東擊西，或據險設伏，打得敵人暈頭轉向，惶恐萬狀。忠義軍英勇抗俄的行動，進一步激發了人民群眾的鬥志。遼東各地群眾抗俄組織紛紛打起忠義軍的旗號，進行武裝鬥爭，以致連盛京省辟員也不知虛實，認為忠義軍有「二十萬，非飾詞也」１。
當時，俄軍駐盛京省的司令部設於奉天故宮內，並在遼陽、奉天一帶駐有重兵。為了加強與吉林俄軍的聯繫，在奉、吉之間設有傳遞哨多處，有七十餘名哥薩克騎兵往來聯絡。此外，在鐵嶺設有四個哨所，每天派出軍官偵察隊，偵察忠義軍的行動。
為了瓦解抗俄力量，沙俄侵略者勾結投降派長順、增祺等人，進行種種陰謀活動。長順等以「背叛朝旨」、「擁兵自衛」、「貪功肇釁」等罪名，多次奏參晉昌。當時，清廷以慈禧、李鴻章為代表的投降派，正在京師向主戰大臣問罪，故將晉昌開缺查辦，將其所統清軍交投降派清銳接統。這樣，俄軍得以集中力量鎮壓忠義軍。
1901年4月中旬，俄軍分路向忠義軍發動進攻：由吉林伊通發兵進攻海龍的楊玉麟部；由奉天發兵進攻通化的劉永和部。
楊玉麟部聞俄軍來犯，為避敵鋒芒，主動撤離海龍，於大圍場與前往鎮壓的敵軍遭遇，因寡不敵眾，復退至昌圖，後又轉入蒙古境內。楊玉麟率部撤離海龍縣後，李貴春、董教敏於5月初出敵不意地率兩千餘人衝入海龍縣西南的山城鎮，在十天左右的時間內三進三出，繳獲俄軍屯積的軍糧二十餘車，並搗毀官衙，燒掉糧冊，嚴懲了與俄軍勾結的奸商。
通化地區的忠義軍劉永和部，在俄軍進犯時，採取避敵銳氣，攻其必救的戰法，以主力繞至敵後，直搗新賓堡（今新賓北），重創該處俄軍，隨後直逼興京（今新賓）。興京是清太祖努爾哈赤建立的後金的第一個都城。城西的永陵，是清廷祖先的陵寢所在地，由興京副都統靈熙率兵護衛。靈熙得知忠義軍將至，向增祺告急，無恥地要求俄軍出兵，幫助保護清廷祖先的墳墓１。增祺聞訊後，增派營官劉振發所部前往協守，附近的俄軍亦馳往助戰。4月19—20日，忠義軍在興京附近同俄軍、清軍激戰兩日。俄軍死傷慘重，乃將進攻通化撲空的部隊調回援救興京。劉永和等鑒於軍火不繼，而通化的威脅又已解除，遂主動將部隊撤回通化一帶。
忠義軍轉回通化後，進行了新的部署：由劉永和、董教敏率大部分隊伍先就地休整，製造軍械，籌集糧餉，然後乘虛出擊；由王和達、李貴春率一支隊伍駐守山城鎮，準備阻擊企圖從奉天、吉林再度來犯之敵；由鄭蘭亭（綽號老君爐）率一支騎兵，向鳳城挺進。至6月21日止，忠義軍連克懷仁（今桓仁）、太平哨、寬甸、鳳城、安東（今丹東）等城鎮，收復了盛京省東部、吉林省南部大片領土。此外，劉永和還率領忠義軍主力，聯絡附近百餘里的各支義軍圍攻海龍。各路義軍彼此支援，互相配合，一時威震吉林、盛京兩剩
忠義軍的節節勝利，使沙俄侵略者及其走狗長順之流坐臥不安。在沙皇尼古拉二世一再電令下，阿列克謝也夫於6、7月間派遣大隊人馬，圍攻通化、海龍、鳳城等地的忠義軍。同時，派遣叛徒、密探潛入忠義軍中，進行挑撥離間，分化瓦解。長順等人還號召地主豪紳舉辦團練，配合俄軍的「圍剿」，並陰謀收買忠義軍中的動搖分子。
忠義軍利用通化、海龍、鳳城一帶的有利地形，採取適合自身特點的戰術與敵人周旋。在敵人猛撲過來時，先將隊伍撤至深山密林中，爾後晝伏夜出，襲擊敵軍，勝則乘勢追擊，敗則退據深山；對俄軍大部隊，「不與力戰」，「只於雲陰月黑之夜劫營」，「用善槍者近敵營，伏暗中狙擊，別以他卒鳴槍誘之，俄軍出則狙擊之」；若俄軍「伏匿不動」，則「俟其懈，出其不意擊之」；若「自料不敵，則蛇行引退」。１忠義軍實行這一套靈活的打法，不斷地消耗敵人兵力，有效地保存了自己的力量，使俄軍的「圍剿」落空，且受創甚巨。
敵人的武力「圍剿」，並沒有把忠義軍打垮，但敵人的招撫伎倆，卻取得了效果。忠義軍的成員，除了農民、獵戶、築路民工、礦工、伐木工人、小商販以外，還有大量的清軍潰卒游勇和地方鄉勇富戶、地痞惡棍等，趁忠義軍勢力發展之際，混跡其中，以致成分相當複雜。而忠義軍的領導人劉永和等，不但毫無警惕，反而以此「自詡其眾」，「以虛聲相炫耀」。在這些人中，雖然有一部分人具有不同程度的反帝愛國熱忱，但對清王朝的認識卻很模糊。劉永和本人對清廷也抱有幻想，一度幾乎接受招撫。所以，在物資匱乏、鬥爭環境艱苦或形勢不利的情況下，有些人極易被拉攏收買，倒戈背叛。如投機商人林成岱，曾為清軍哨官，在自稱忠義軍後，四次攻克新賓堡，但不久便被俄軍收降，改編為「花膀子隊」，充當了鎮壓忠義軍的鷹犬。此外，李貴春在通化被叛徒刺殺，劉永和的得力助手、忠義軍幫統劉秉和在懷仁被俘犧牲，使忠義軍的力量日益削弱，以致劉永和、楊玉麟等主要領導人再次動搖，於1901年冬先後與長順接洽受撫事宜，結果被俄軍劫持到伯力。不久，俄軍又將劉永和解回琿春，利用他的名義收繳其部下的槍械，瓦解忠義軍。1901年冬，忠義軍的抗俄鬥爭便基本上失敗了。
忠義軍的鬥爭雖然失敗了，但是東北人民的反帝愛國鬥爭仍在繼續進行。沙俄侵略者雖然可以在東北三省的統治者中找到忠實於自己的走狗，但是卻逃脫不了人民的懲罰。正是由於東北三省人民的英勇鬥爭，以及其它帝國主義出於自己的侵略目的，反對沙俄獨吞中國的東北，才迫使它在1902年4月8日，同清政府簽訂了《中俄收交東三省條約》。條約規定，俄軍於十八個月內分三批撤出東北三剩於是，沙俄企圖把我國東北三省變成「黃俄羅斯」的夢想終於未能實現。