但是另一支实力雄厚的游击部队就不那么买段海洲的帐了。
这支部队的司令名叫赵云祥，原是29军教导队的副队长。
29军放弃平津后，赵云祥带着教导队的部队官兵在河北拉起的抗日大旗。
由于是正规军发展出来的部队，段海洲的义勇军不管是在战斗力还是在战术上都打不过赵云祥。而赵云祥在收编段海洲的计划失败后，便对段部发起了进攻，段海洲连战连败，就连刚取得的献县也丢了。
正当段海洲陷入战败的苦恼之际，邻县的南宫开来了一支八路军。
段海洲在北平读书时，就对我党深有着好感。
这个时候又受到了部队中我党成员的劝说，便决定率领所部参加八路军。
这一举动受到了当时八路军129师徐副师长的热烈欢迎。
同年5月，段海洲的“抗日义勇团”在南宫县正式改编为第129师青年抗日游击纵队，也就是前文中出现的青年纵队。
由段海洲当司令员，八路军派遣的当时的386旅从参谋长李居奎当政委。
段海洲将部队分编为3个团，另编1个教导大队、1个警卫营和1个迫击炮连。
段海洲自此由一名地方武装的指挥官一跃成为了八路军的旅级干部。
可是好景不长，让他犯愁的事情又来了。
原来他当年的老校长石友信跟着他的哥哥石友三也在河北发展起了自己的武装，并且还获得了军委会颁发的正规军番号。
随着石友三与八路军之间的关系发生改变，于是石友三利用石友信当过段海洲校长的身份，去拉拢已经拥兵1万余人的段海洲“归队”。
这么一来，段海洲为难了。对于段海洲来说，校长的邀请不能不接受，但自己毕竟是堂堂八路军的旅级干部，就这么走了，实在对不起扶助他的八路军。
此外他参加八路军后129师副师长徐向前等高级将领也十分厚待于他，这就更不好意思脱离八路军了。
权衡再三，段海洲在奉命率部进入豫北后借口眼疾复发，跑到南宫县的129师师部休养去了。
我不带部队总行了吧？段海洲可能把自己想的太简单了。当他的眼疾痊愈之后，又想起了那支当年由他一手组建起来的部队了。
但是部队在豫北，自己在冀中，两地交通不便，中间又有日伪军隔断，要想返回部队谈何容易。就这样消磨了一个月，失望之余的段海洲最终决定回家“静养”。
回到家乡后的段海洲并没能得偿所愿。因为他回家之后，那些当年在义勇军加入八路军持反对态度的“旧部”纷纷找上门来，要求段海洲重竖大旗，再建部队。
这时又碰上段的老同学王文瀚也派人来联系段海洲，说是自己在冀东拉起了一支部队，但能力有限，希望老同学能帮助指挥，自己愿当副手。这样一来，段海洲的心又活了起来，随后他写了一封“请假信”派人送到129师师部，正式脱离了八路军。
段海洲重新拉起部队的消息传到石友三那里后，石再次派他的弟弟友信以校长的身份拉段入伙。于是段海洲在老校长的一番言辞恳切的“教诲”之下被改编为第69军教导师第2团，段任团长。
就这样，段海洲从一名八路军的旅级干部变为一名国军正规军的团级干部了，后来又升任独立第四旅旅长。
石友三死后带着队伍跟高树勋打过仗，后来又跟过孙良诚，孙良诚意图投敌，又带着队伍回到国统区，当上了冀察战区第一游击纵队，后又投靠汤恩伯，没多久就队伍就改编成了第三十三师。
至此，一个在1937年还只是带着6个人的小人物段海洲，仅仅用了6年的时间，越过那些出身正规军校的同僚们，成为了国军的高级将领。
段海洲一生可谓是波澜壮阔，给他当过政委的李居奎将军，五五年是授予了三颗星，反观段海洲当年起义后，五十年初转业到万县。
段海洲是一名爱国将领，只不过站在当时的时代，依旧没有逃脱历史的局限性。