当时，浙江省教育界分成保守与前进两派。保守派力量较强，还有省教育会和省议会支持。这派中有马叙伦的老师和学生，他们设法拉拢马叙伦，以孤立前进派。但马叙伦坚持“独立而不倚”，他后来回忆说：“不免有单枪独马的顾虑，我依靠的只有自己的队伍——学生了”
一九二二年夏，马叙伦计划出国游历考察教育，得到蔡元培的支持。蔡元培请北京大学备了公文呈教育部和浙江教育厅批允；又以私人名义函告浙江省长和教育厅长拨发特别经费。但不久，浙江省教育厅厅长夏敬观辞职，厅长缺任。教育界中主张改革的一派，如教育厅秘书、北大毕业生许宝驹，杭州一中校长，原北大教师黄人望等力主马叙伦继任。他们还赴北京征求李大钊、蔡元培等人意见。蔡元培、李大钊积极支持。李大钊直接向教育部次长推荐，很快获准。六月二十八日，蔡元培寄信给马叙伦说：“现政府已发表，浙中教育界自然极欢迎。请公暂牺牲出洋之志愿，为吾浙教育立一基础，不胜企祷。”在此情况下，马叙伦取消了出国计划，担任了浙江省教育厅长。他立志不负众望，“激浊扬清”，改革教育。
当时官场旧习，下级任职必须先拜见上司，新任厅长当然要拜见省长和督办。马叙伦鄙视旧习，刚直不阿。早在任师范校长时，他曾以教育界代表的身分见过省长。因招待员拖延了四十五分钟没给通报，他当即提出警告：“我的学校里有事，不能再等了！”面见省长时又说：“我们是为公事来的，已经在招待处等了四、五十分钟了，我们都有职务，以后有事再来时，请省长早点接见。”省长表示歉意地说：“我不晓得，他们不该这样。”这次马叙伦任厅长，因省长已知他正义刚直，所以非常客气地接待了他，还特地嘱咐说：“须得见见督办。”督办卢永祥从侧面也了解到马叙伦的为人，因此，也很客气。
按旧习，新官上任，僚属要重新更动，而且上司还要推荐些人，要求录用。马叙伦抱定“激浊扬清”，“独立而不倚”，以“贤者在位，能者在职”的原则，选用人才，“概不敷衍”，不询私情。因此督办、省长都不交条子推荐人。有人曾找到省长那里，求托私情，省长说：“别处我可替你出信，马厅长那里我出信也是无用的。”
时间不久，浙江省发生大风灾。省立十一所中学和十一所师范学校的校舍，多半墙倒屋塌，频频告急。马叙伦心急如焚，除请求省议会解决外，还亲自带人到萧山、绍兴两县视察。这在当时，成了教育界前所未有的范例。
马叙伦的这些改革教育措施，受到杭州教育界越来越多的人支持，特别是积极主张改革教育者的拥护。但也遭到保守派或明或暗的反对和讥讽。
一九二二年九月，北京政府改组，王宠惠组阁，汤尔和任教育总长，他未和马叙伦商量就发表了马叙伦为教育次长的任命。马叙伦到北京任职不足四个月，因内阁总辞职，他于十一月，回到北大任教。
这时中国共产党已诞生一年多。有了共产党的领导，革命形势迅速发展。孙中山接受共产党的建议，决定将组织涣散的国民党改组为革命的联盟。马叙伦向往革命，拥护孙中山的主张。一九二三年，他被任命为国民党北京特别党部的宣传部长。他很关心国民党的前途和命运，在国民党召开第一次代表大会之前，他委托北京代表许宝驹向孙中山转达他的建议：设立调查和研究机关，以备取得政权后，谋划新国家的建设，得到了孙中山的赞许。代表大会所确定的联俄、联共、扶助农工三大政策，马叙伦积极拥护，身体力行。
国民党第一次代表大会后，在北京成立了国民党执行部，负责北方各省、市党务，李大钊任组织部长，蔡和森任秘书长，马叙伦任宣传部长。马叙伦认真宣传和执行三大政策。
一九二四年一月二十三日，列宁逝世。一月二十七日北京学生联合会、国民青年俱乐部、马克思文学研究会、北京大学平民教育团等四个团体，举行遥祭大会，马叙伦出席并致悼词，他沉痛地说：“列宁为全世界劳动领袖，全世界平民革命的首领，全世界弱小民族的提携者，马克思学说的大师。当此世界劳动主义萌芽时代速丧此明星，不但俄国民族失此中流批住，亦即全世界各国均失所遵循。”(注1)
最后，会议通过了：要求政府承认苏俄；向苏俄政府电达开会情况；在中央公园召开大规模追悼会；建立列宁纪念碑等四项决议。
二月二十六日，马叙伦与李大钊、郁达夫、丁燮林、沈尹默、陶孟和等北京大学四十七位教授，致函北京军阀政府外交总长顾维钧，要求政府与苏联复交，特别指出：“苏俄以平民革命推倒帝制……其显扬民治，实吾良友。”敦促北洋政府立即恢复与苏联的外交关系。同月二十八日，他又主持八校教职员联合会联合马克思主义学说研究会、北京大学平民教育讲演团等六个团体共同致函当时的中俄交涉督办王正廷，要求“即日无条件承认苏俄政府”。在全国舆论压力下，五月三十一日，中国政府与苏联签订了复交协定。苏联派遣加拉罕为驻中国第一任大使。
八月二日，北京国立八校教职员代表联席会议，在北京大学工学院举行茶会，欢迎苏联第一任驻中国大使加拉罕。马叙伦致欢迎词，他赞扬了社会主义苏联的外交政策，并高度评价了中苏友谊的重要意义，他说：“向来各国对于中国皆本其帝国主义资本主义为侵略式之交际。此番中俄协定，苏俄确实履行相互平等之原则，让还若于前俄帝国时代侵略所得之权利。……其意义完全在发展中国”“此番实为新纪元。”又说：“……今日之苏俄，乃推倒帝国主义资本主义之前驱，为人类谋解放而实现真正平等之先导。”中苏两国“一经携手，自然相互的共进于光明，即远东之和平与光明，亦惟中俄两国能任之。推而至于世界之和平与光明，亦或以此为基础。”（注2）
他还经常与进步青年往来，支持共产党人的工作。
秋天，冯玉祥发动北京政变后，马叙伦第二次任教育次长。不久，段棋瑞作了临时执政，马叙伦征得了李大钊等人的意见，认为：“教育部关系很大，我们不应放弃，何况孙、段是有合作密契的。”而作了代理部务。他“心心在（教育界的）这辈朋友和青年子弟身上”努力工作，不怕麻烦，认真解决各校困难，作到了不欠薪等，使各校维持了正常工作。大家都相当满意，对他宛如家人。但是，他革新教育的理想，在段棋瑞政权下，只能是泡影。
在这一期间，北京医专、美专、农专、女高师都发生了几次学潮。马叙伦爱护进步青年，注意掩护共产党人，不给军阀政府以制造事端的借口。教育部曾得到一份密件，其中，引内务部的情报，说：“共产党首领李寿常在各校活动”，咨请教育部马上查办。他意识到“李寿常”即是“李守常”（注3）的讹音，决心甘冒风险，拖延不办，并立即通知李大钊迅速转移，使之脱险。
一九二四年底，孙中山为了与段棋瑞商谈召开国民会议，“以谋中国之统一与建设”，扶病至京。马叙伦对孙中山非常敬慕，寄予深切希望，前往车站迎接。路上，见青年学生络绎不绝，涌向车站，市民也挤到正阳门前迎候。民心所向，使马叙伦更增加了革命信心。他进入卧车里，见孙中山为国劳瘁，满面病容，非常感动。孙中山在京养病期间，马叙伦经常去看望，病重的那些天，他同杨杏佛等人轮流守护。一九二五年三月十二日，孙中山逝世，马叙伦悲痛万分，亲书挽联以寄哀思：
“是中国自由神，三民五权推翻历史数千年专制之局。
愿吾侪后死者，齐心协力完成先生一、二件未竟之功。”
北京举行孙中山葬礼的，马叙伦和十数万人民沿街恭送，而段棋瑞因害怕革命群众，推说脚痛不去参加，激起马叙伦和群众的无比愤慨，队伍经过西华门时，愤怒的群众，将段棋瑞善后会议的牌子砸碎。实际上形成了一次反帝、反军阀、反段的群众大示威。
马叙伦的这些革命言行，早已引起段棋瑞政府的不满，不久，段棋瑞任命唐继尧做教育总长。唐继尧的代表王九龄到京赴任，遭北京各校学生反对，段棋瑞派警察总监保护就职，以武力相威胁。马叙伦愤然辞去教育部职务，再次回北京大学任教授。
一九二五年五月三十日，上海发生英、日帝国主义枪杀中国工人的惨案。消息传到北京，马叙伦当即联合各界人士组成“‘五卅惨案’后援会”，他担任主任，几乎每日到会办公，除和后援会的同事一起开展援助上海工人罢工的活动外，还亲自发动了北京英国公使馆的中国工人和职员罢工，使英国使馆“日用起居，均非常困难”，给英帝国主义分子以重大打击，并直接威胁到日本公使馆，该馆也极为恐惧。这些爱国活动，引起亲日派段棋瑞政府的嫉恨，他们指派特务每天跟踪盯梢。一天，有人关照地告诉他：“有侦探跟着你。”翌日果然发现有特务坐在他家门口的对面，马叙伦毫不畏惧，照常去办公。特务又从他家跟踪到后援会，马叙伦突然下车，正义凛然怒问特务：“你奉了谁的命令踉我！？”特务丑态毕露，慌张逃去。
段棋瑞政府坚持与人民为敌，勾结帝国主义召开所谓关税会议，北京反段声浪越来越高。冬天，掀起了国民大示威运动，提出“打倒军阀”，“无条件的关税自主”，“实现民主政治”等口号。十一月二十八日，学生界、文化界、工商界数万人，分别在神武门和天安门前举行国民大会。马叙伦出席了天安门前的大会，并被推举做大会主席。会议中，群情激昂，同声共讨段棋瑞的种种罪行。大会通过了“即日解除段棋瑞一切政权，由国民裁判”，“解散关税会议，宣布关税自主”，“组织国民政府临时委员会，召开国民会议”，“责成国民军，服从国民大会一切决议”等充满革命精神的决议。会后群众分队示威游行，给段棋瑞政府以沉重打击，显示了革命群众的力量。
年末，北京革命人民再一次在天安门前举行国民示威大会，反对日本帝国主义的侵略及其卵翼下的奉系军阀张作霖。军阀政府得知，事先派军警荷枪实弹将北大三院包围。马叙伦不畏强暴，率一队学生欲冲出大门，前往参加大会，未成，又转向边门突围，始得冲出，但他被警察踢伤，未能参加大会。
马叙伦还为反对英国国会通过处置中英庚款办法一事，联合全国教育界代表高仁山、陶行知、林风眠、谭熙鸿等二十余人发表宣言，向英国庚款咨询会调查团提出抗议以维护国家主权。
一九二五年下半年至一九二六年初，段棋瑞政府屡欠各校经费，致使学校工作极端困难，教师们啼饥号寒。鉴于此况，马叙伦等教育界人士再次提出教育经费独立的主张。一九二六年一月间，段棋瑞政府的国务会议通过了教育经费独立的方案，并发表马叙伦负责督办教育特税。马叙伦因为在担任北京各校教职员会联合会主席和教育部次长时，曾多次提出过教育经费独立问题，由于这种历史的关系，他只有承担这一职务。他先以督办名义聘请国立各校校长、教授八十五人担任督办公署参议员，号召大家以“自救救国之精神，共同完成教育经费独立之任务”。接着，督促政府公布教育特税条例，要求税收机关依照条例征税等。但是，段棋瑞政府不过是敷衍民意，实际上连督办公署的经费都无下文。至于教育经费，在大小军阀争先分赃之下，更无从筹措。马叙伦无限愤懑。
北方革命运动不断发展；帝国主义恨之入骨。一九二六年三月十二日，日本军舰驶入大沽口，炮轰倾向革命的冯玉祥部国民军，被守军击退；日本竟联合英、美等八国公使于十六日向段棋瑞政府通碟，提出撤除国民军防御等无理要求，并以“决采取必要手段”相威胁，激起了北京人民的愤怒。三月十八日，数千爱国群众，前往段棋瑞执政府请愿，呼吁拒绝日本等八国通谋。马叙伦也参加了这一爱国行动。段棋瑞在帝国主义唆使下，命令其卫队包围请愿队伍，进行血腥屠杀，当场有四十七人死亡，两百多人负伤。马叙伦目睹军阀的凶残和爱国者被杀的惨状，心肝欲裂。翌日提出辞呈，大骂段棋瑞。段棋瑞政府将马叙伦列入五十二名聚众闹事祸首的黑名单中，下令通缉，欲加迫害。列入黑名单的还有李大钊、鲁迅、高一涵、马裕藻、陈垣、孙伏园、陈大齐等。马叙伦避入东交民巷法国医院。他愤感难平，寄调《西江月》，怒斥之：
“身世真如蓬转，客中几过端阳。艾旗蒲剑忆江乡，云水重重惆怅。朝里七零八落，民间十室九空。今年节景异寻常，满眼车骑甲仗。
宋子空谈救斗，墨家乱说非攻；如今拥众便称雄，愧我无拳无勇。敢比望门张俭，原非投阁扬雄。走胡走越且从容，权住东交民巷。
背后风波渺茫，眼前云狗苍黄；谁秦谁楚总都忘，只是群儿相王。却为天公沉醉，便教长夜未央。一危浊酒荡胸肠，杀尽魑魅魍魉。
暑往寒来奔走，朝三暮四纵横；赵钱孙李不须详，都是一般混帐。楚馆秦楼面目，城狐社鼠心肠；有官捷足去投降，幌子居然革党。”（注4）
“三一八”后，张宗昌、张作霖、吴佩孚等各派军阀陆续进入北京，更加疯狂地镇压革命群众，以“扑灭赤化”为名，搜查各大学，任意逮捕学生，迫害各方人士，《京报》总编辑邵飘萍，《社会日报》总主笔林獬等先后被枪杀，白色恐怖笼罩北京。这些血的事实，使马叙伦开始认识到，要革命就必须以暴力推翻反革命的统治；更认识到，革命力量，需要集中，不当分散。他回想“三一八”前，北京国民党党部，由于受西山会议派的影响，分裂成两派。他本来接近共产党，信仰社会主义，但却不赞成暴动政策。这一问题曾和李大钊谈过，因受当时主客观条件的局限，而未能解决，使他参加到西山派方面，曲折的道路，教训沉痛。他毅然决裂了西山派，并劝说受西山派影响的青年：“这样孤立而不发展，是违背了革命的‘宗旨’”，“希望他们赶紧加入军事工作”。（注5）
一九二六年夏，他化装成商人潜回杭州，积极筹划以武力反对军阀的工作，劝说他的老友、浙江省长夏超准备兵力反对军阀孙传芳，并赴广州与国民政府取得联系。经国民政府委任，夏超为国民革命军第十八军军长。十月间，夏超宣布独立，起兵响应北伐军，不幸兵败被害。马叙伦也遭孙传芳通缉，避往上海。
年底，北伐军逼近浙江，革命政权即将建立，马叙伦接到国民政府任命，同时，还有两名共产党员及蔡元培、沈钧儒等，都被任命为浙江省政务委员会委员。因孙传芳当时还盘踞浙江，他们绕道从上海到宁波就职。途中，又得到孙传芳部队开向宁波的消息，他们分途暂避。马叙伦和蔡元培乘小火轮到象山，转东乡、石埔；又乘帆船在海上漂渡，二人口占即兴诗唱和，兴致颇浓。两天后，才到达北伐军攻占了的福州。
福州到处张贴着“建设廉洁政府”等标语，群众喜气洋洋，一片革命胜利的景象。马叙伦等也异常高兴。他想到，马上要成立政府，“觉得一个铜子都是民脂民膏”，要节省它为“民众做些有益的事业”。革命形势迅速发展，北伐军直下闽浙各省，马叙伦等也从福州经泉州、漳州到厦门，沿途应北伐军和各地群众团体的邀请，多次发表演说，宣传革命主张。当北伐军攻入杭州后，他们向集美学校借得一艘捕鱼轮船，赴温州，转经宁波到达杭州。三月一日，浙江省政务委员会正式成立，其成员包括共产党员和国民党员。马叙伦和蔡元培都任委员，担任审查推荐县长的工作。
不久，浙江省政府成立，门前挂着醒目的“廉洁政府”牌子。马叙伦又被任命为省政府委员兼民政厅长。他抱希望“建设廉洁政府”，改革浙江的“吏治”、“民食”、“风俗”等，和厅里的职员草拟了许多计划，请各方面帮助实现。他先从“吏治”入手，慎重选任县长和警察所长。为选到有才能和秉公办事的人，他定期邀请前来登记者亲自谈话。当时，投机钻谋上述职务的人颇多，他们设法探听马叙伦的兴趣爱好，通过各种渠道送来精巧折扇和珍贵文物等。马叙伦对此，不仅一概拒绝，而且从登记本上勾掉了这些钻营者的名字。
一天夜里十点，省政府委员马寅初急匆匆地来告诉说：“明天恐怕要罢市了。”马叙伦很诧异。经了解，原来是中国银行杭州分行经理的弟弟，因包办丝茧绢，而和其兄一起被公安局逮捕。逮捕令是由省主席下的，因为公安局当时归民政厅管辖，所以被认为是民政厅下达的命令。
绅商们深知马叙伦清廉奉公，严以执法，他们从前的贿赂官员，作弊赚钱的伎俩已不适用。于是，欲以“大家同来对付”相威胁。马叙伦镇静自若，查明原由，先发布告，安定民心，然后，根据事实区别处理。经理与此案无关，找保释放；其弟依法惩办。此举深得民心。但是，国民党官员内部也有不少人营私舞弊，作官发财。马叙伦坚持正义，遭到许多人嫉恨。
“七一五”，汪精卫公开叛变革命，中国革命转入低潮，共产党人转入地下。马叙伦的学生、中共党员潘名训，原在武汉北伐军中工作，这时，秘密来到杭州，从事地下工作，因消息走漏，被捕下狱。马叙伦努力设法营救，潘名训终于被释放。
马叙伦的这些做法，很快遭到官僚买办们的攻击。浙江省军事厅长等靠着在国民党中央的后台，合伙排挤马叙伦。在这段时间里，马叙伦还因没收了美国商人梅腾更在杭州里西湖的一所医院及别墅，被告到宋美龄处，引起了蒋介石的不满，遭到斥责。又加之，以陈果夫、陈立夫为中心的浙江湖州派，为扩大势力，独霸浙江，也十分忌恨在浙江颇有声望和影响的马叙伦。不久，蒋介石来电，称：马叙伦不孚众望，令其辞职。后，在一九二八年八月，马叙伦辞掉所有各职，被排挤出浙江。官僚买办们立刻通过杭州各报纸造谣说：“马叙伦卖官得贿二十四万存于汇丰银行。”并在社会上散布；“马叙伦被打倒了。”
一九二八年底，南京国民党政府任命蒋梦麟为教育部长，马叙伦为教育部次长。马叙伦本已灰心仕途，但为要还击一些人的诽谤，就“再做一次官”。此次工作后，他仍是每天早到迟归，“案无留牍”。一九二九年初，他曾协助蒋梦麟处理了恢复北京大学问题。
北京大学是民主运动的先锋，奉系军阀进入北京后视之如仇，竟下令将北京的九所国立高等院校合并为“京师大学校”，借以取消北京大学。国民党统治北京后，又实行所谓大学区制，将北大分散为隶属于北乎大学的三个管理系统，实质上也是取消北京大学。
北大师生强烈反对这一做法，坚决要求恢复原有校名和组织，拒绝北平大学区的管辖。反动当局以武力接收也未得逞，后竟以停拨经费、停供煤火、不发工资进行经济扼杀。此事前后持续半年之久，严重地影响了北京大学的发展。
马叙伦出任教育次长后，曾鉴于当时北京市的几个大学相互间学科重叠，教师缺乏，有些教师需同时在几个学校兼课，扑扑于途，耗费时间，无暇提高，影响了教学质量，而计划将相同学科合并于一校，克服上述弊端。但是，他考虑了北大师生的强烈要求和北京大学的影响与作用，同意复校，做了许多具体的促进工作。在蔡元培等人疏通下，教育部与北京大学达成协议，恢复了原来北京大学组织；经费以北京大学时期最高预算为标准；仍保留研究所国学门等，后又恢复了北京大学的名称。
马叙伦还为保存和发掘我国的文化遗产，具体负责主持教育部设立了“保存
直唐塑委员会”。马叙伦和蔡元培、叶恭绰等人皆为委员。他们和雕塑家、建筑家多人于三月前往江苏吴县直，观察唐代艺术家杨惠之的壁塑，并具体商定了整修及保管办法。后来，修整竣工，由蔡元培撰文《角直保圣寺古物馆记》，马叙伦书写，刻为石碑，立于馆前，使参观者得知此古迹的始末。马叙伦虽为文化教育事业的发展，做了一些工作，但在黑暗统治下仍不能有大的作为。一次，他正在研究制订国民教育计划时，国民党中央党部政治会议突然把中央委员、考试院长戴传贤的计划发到教育部，令照办。马叙伦认为：戴传贤的计划适用与否，另作别论；但是，政治会议，不经国民政府和行政院通过，而直接将计划发到教育部，是不合规定的，不能接受。又一次，国民政府秘书陈立夫来一“便函”，内称：“奉主席（蒋中正）谕，着教育部发给留日学生XXX书籍费贰百元。”部长问马叙伦：“怎样办？”马叙伦直言：“搁着吧，我们部里预算，都有规定的。这笔款子，数目虽小，没法支出，而况主席命秘书‘便函’叫我们部里发款，怎样照办？就是主席正式的命令，也该由行政院转来。……”他这种秉公办事的态度，为国民党新军阀政府所不容。
一九二九年冬，他已认清新军阀与旧军阀是一丘之貉，蒋介石政府仍是黑暗的王朝，赋诗一首：
“袍笏登场又一回，
未酬素志鬓丝衰。
身无媚骨难谐俗，
从此柴门不再开。”（注6）
毅然辞官口杭州。