这时的中国，由于军阀之间的你争我夺，当政者地位不稳，政局动荡不安。马福祥则观风转舵，以圆转手段随机应变，应付得体，相安无事。1921年4月，张作霖兼蒙疆经略使，马福祥在绥远归张作霖节制，即积极和奉系拉拢关系。次年直奉战争爆发，马因撕不破情面反奉，始而徘徊观望，犹豫不决，继又恐开罪于曹锟、吴佩孚，终于勉强发出拥直的通电，被当时报纸刺以“态度暧昧”。曹锟也认为马在开始时采两面手法，表示不满，把北洋军阀驻包头的冯旅长任命为察绥两区总司令，给马以难堪和打击。直系击败奉系后，马福祥忙向曹、吴送犒军巨款。在曹锟贿选总统时，马福祥又拼凑数十万元送曹作贿选经费。曹就职后，马福祥亲往北京“致贺”、“述职”。还命马鸿逵经常奔走于洛阳，向吴佩孚通款曲，并请吴部派来教官，训练第五混成旅下级军官，以表示友善。1924年9月，第二次直奉战争爆发，马福祥向曹、吴首先请缨，并发出通电，痛骂张作霖为胡匪出身，声罪致讨。令马鸿逵挑选精锐2000多人，由平地泉开赴热河边境，归冯玉祥第三路指挥，行抵赤峰，冯玉祥突然回师北京，发动北京政变，马鸿逵率部退驻绥西。直系军阀垮台，曹锟退位，段祺瑞出任北京政府临时执政。同年12月，孙中山先生北上到北京，马福祥谒见，表示“热诚欢迎中山先生领导我们”。但他接着于次年2月出席由各省军阀代表及政客参加的“善后会议”。会议期间，马福祥一再表示“竭诚拥护执政”，“决尽全力，率同西北人民惟执政之命是听”，向段献殷勤。时段祺瑞、张作霖排挤冯玉祥，任冯为西北边防督办兼督理甘肃军务，冯为了便于向西扩张势力，推荐马福祥为会办，以李鸣钟为绥远都统。派其国民军军长刘郁芬为总指挥，自张家口率第二师入甘。马福祥实际失去地盘，又一个强者压来，只好俯首就范，向冯要求国民军收编其子侄的部队。冯遂将马鸿逵、马鸿宾两部分别扩编为国民军第二集团军第七师、第二十二师，由马鸿逵、马鸿宾分任师长，此后至1929年，马部即进入冯玉祥序列。1926年春，由冯玉祥向北洋政府推荐，马福祥出任航空督办，驻节平地泉（今山西丰镇），但实际无事可做，即蛰居北京、天津。这时，蒋介石在南方崛起，就任国民革命军总司令。马在北方诸军阀的角逐中既不得志，遂萌转而投蒋的念头。
二、南京供职
1926年上半年，直、奉、鲁军阀联合攻击国民军，马福祥准备南下依附蒋介石，适值张作霖部将李景林与郭松龄密结反张作霖，郭被张联合日军击败处决，李欲南逃投蒋，马李二人同时乘船南下，被奉军发觉，派兵尾追，李逃脱，却把马福祥捉住，向张作霖请示处分。张因二次直奉战中马福祥忘恩负义，追念前嫌，命人将马软禁。马请前陕督陈树藩向张斡旋，贿以枪支、巨款，才得到释放。马到南京见蒋，陈述统一安定西北计划。蒋介石以其子侄握有兵权，马本人熟悉西北政情，正是可以拉拢利用之人，即委以军事委员会委员。1928年春，国民党二中全会选马福祥为中央候补执行委员，又被任为国民政府委员，俨然成为南京新贵，他还被委以许多头衔：北平政治分会委员、开封政治分会委员、水利委员会委员、赈务委员会委员、编遣委员会委员、故宫博物院理事、蒙藏委员会委员长等。他又以“和事佬”的面目，为蒋介石效力。这年夏天，马仲英、马廷勷、马廷贤等在河州起事，反对冯玉祥国民军，双方展开激战。马福祥自南京函电诸马及各方名流，力劝息兵。马仲英等以马福祥和稀泥，为国民军张目，愤而纵火烧毁马福祥在河州的住宅。这时蒋介石、冯玉祥、阎锡山之间由于争地盘、争军队编制，相互钩心斗角，冲突日趋尖锐。马福祥奔走于三方之间，折冲樽俎，纵横捭阖，一时与国民党右派人物张继、李石曾齐名。其实他此时处境不得不讨好三方，但倾向性亦甚明显：其势力范围与阎锡山势力范围相界，不能不结好于邻；其子侄皆在冯玉祥部下，不敢开罪于冯；他本人则依附于把持中央的蒋介石，故不仅效忠于蒋，且多进谀词，公然声称：“当今之世，统一中国，舍介公其谁？”在几大夹缝中生存，是很不容易的。
1928年秋，新军阀宣告“北伐完成”。次年元月蒋介石召开编遣会议，马福祥参加了这个会议。会上，蒋与阎锡山联合，通过编遣，削弱冯军力量，致使会后冯、蒋矛盾日益公开化。5月，蒋、冯双方在中原地区摆开阵势，即将开火。而韩复榘、石友三、马鸿逵等突然倒冯投蒋，5月22日在洛阳发出通电，声明维持和平，拥护中央。蒋惊喜若狂，立即给三人复电嘉奖，任马鸿逵为第十五路总指挥，并送300万元。未几，唐生智、韩复榘、石友三、马鸿逵四人会晤于徐州，谋倒戈反蒋，事后马鸿逵却向蒋告密。接着，马福祥又奔走于韩、石之间，为蒋说项，韩、石复投蒋。父子如此忠于蒋，使蒋大为赏识。同年11月即任马福祥为青岛市市长，任马鸿宾为宁夏省政府主席。
这时的青岛，正处于工潮时期。原来日本人在青岛开办了不少纱厂，其中富士、大康、隆兴等6家纱厂工人因不堪忍受资本家的残酷剥削，在地下党秘密领导下，组织工会，以维护自己生存的权利。日方厂主以开除6厂工会骨干250名工人的威胁手段，强令解散工会。6厂工会遂推举代表向日方交涉，日方厂主在其总领事藤田荣介支持下，不仅粗暴拒绝工人的合理要求，而且联合日人9个厂的厂主一致决定闭厂停业，且以武力相威胁。于是9厂2万余工人开始罢工。国民党市政府慑于日帝淫威，立即出动军警搜捕地下党组织和强令解散工会，仍无法扑灭罢工的熊熊烈火。南京政府无奈，即以马福祥取代前市长吴思豫。马于11月11日到任，他秉承南京政府“以邦交为重”的媚外政策，一面“饬令市公安局督率警队，尽力弹压”，一面亲自出马与藤田荣介谈判，最后达成妥协，即对250名罢工骨干“由市政府劝告自动辞职”，来换取日方厂主答应复工开业的许诺，致使此次罢工归于失败。马福祥在复工后对工人演说中有这样的话：“此后一切轨外行动断断不可做了，做了就犯法，法律是神圣的，没有情面的。……如果听信坏人挑拨的话，真是自暴自弃，要走到没有办法的道路上去，使你们的生活又陷于困难境地了。”此后，马还手编《青岛工潮纪略》3万余言，以纪其事。
1930年3月，奉系沈鸿烈任青岛市长，马福祥调任安徽省主席。4月，阎、冯与蒋介石中原大战爆发，曾是冯玉祥旧部的韩复榘以为河南首当其冲，不愿和不敢与冯玉祥作战，向蒋请求赴津浦线与阎锡山作战，蒋也顾虑韩有重投旧主的危险，便任韩复榘为山东省主席，将原山东省主席陈调元调任安徽省主席，改任马福祥为蒙藏委员会委员长。
三、民族工作
马福祥在官场中，是处事比较平和的人，他一生调解了不少纠纷。除前述者外，尚有数事值得一提。在清末西宁总兵任内，他调停过喇嘛和塔尔寺阿嘉呼图克图之间的冲突。原来十三世喇嘛由于英帝国主义入侵西藏，仓皇北奔，避居库伦（今外蒙古人民共和国乌兰巴托），后于光绪三十二年（1906年）九月移住青海西宁塔尔寺。虽在旅途中，仍然供应甚盛，其属下堪布气势汹汹。汉官迎送、罗拜，傲不为礼。及至塔尔寺后，盛气凌人，以客压主，且由外蒙、西藏、西康及青海各地僧俗前来膜拜并送金银珍宝等贵重礼物者络绎不绝，使塔尔寺的商业市场贸易也繁荣起来。属下的噶伦、堪布等对塔尔寺更起觊觎之心。这就使塔尔寺主阿嘉呼图克图难以容忍，矛盾日趋激化。适逢阿嘉呼图克图忽得暴病而死，谣传系属下堪布请来红教本布暗用魔术放咒致死。因此，塔尔寺僧众即拿起武器要和卫兵械斗。马福祥和青海办事大臣庆恕闻报，立即带军队到寺弹压保护。这时塔尔寺僧众两千多人齐集大经堂南面社火院内，持枪怒目环坐。马福祥出面对僧众耐心劝导，由翻译传达，经过3个多小时，终于将塔尔寺僧众说服，一场械斗始告平息，此后两方相安无事。直到宣统元年（1909）四月才离开塔尔寺返藏。（参阅牙含章《喇嘛传》）民国元年（1912年）马福祥还调解了甘督赵惟熙与布政使彭英甲之间的纠纷。这年4月30日晚，赵、彭因争权启衅，各调武装进城，将以兵戎相见。马福祥闻知，只身星夜进城，对赵、彭进行劝解、诘责，其中有这样的话流传开来：“军队乃保护甘肃治安者，非从都督辈纵酒任气之物也。”这当然是义正词严。当时马福祥所率一标人马正“留戍兰州”，较赵、彭拥有更大的武力，赵、彭不敢不听，只好偃旗息鼓。这些调停工作，对各族人民都是有利的。
马福祥在他一年半的蒙藏委会委员长任内，更做了一些有益于民族团结的事。他在南京召集蒙藏各部王公会议，提出消除民族间的隔阂，发展民族教育，开发蒙藏地区，加强西北国防建设的主张。1932年2月以心脏病复发，辞去蒙藏委员会委员长职务，在天津休养。同年5月，马鸿逵因“剿共”不力，被蒋介石示意刘峙以重兵包围于河南信阳，马福祥闻讯，亲赴汉口见蒋说情，却身染时疾，旧病复发，卧床不起。马鸿逵急赴汉口探视，旋遵医嘱转北平协和医院，途中病况转剧，8月19日下午火车至琉璃河车站，马痰喘交加，不治逝世。“于是所部将校士兵，蒙回族众，闻讣咸奔走巷哭。政府震悼，特赠五千元，遣员致祭。遂于八月二十日葬于北京阜成门外三里河之阡。”（唐文治：《马公云亭墓地碑铭》，载1938年1月《回教月刊》第一卷第八期）
马福祥对民族问题，有自己的见解。有些观点，不无参考价值。他有一篇演讲词，兹摘引如下：
他对西北有自己的解释：“盖西北二字乃分立之名词，而非联贯之义，即中国西部与中国北部之谓也。明乎此，则吾人当知其范围决非如世人之所谓西北者之狭隘，而实为蒙藏二大区域之代名词矣。”
他从国防的观点着眼，从历代的考察中，认为：“吾国防之经营，恒为西北与东南二方面之递嬗，未有能同时并顾者。……盖因吾国地形，西北皆为大陆，历代以来，咸有邻国强族为我外患，故戒备不可不严；而东南则濒临大海，不与他国土壤相接，故史书上记载，实不足与西北并称。”“自鸦片战争后、五口开埠……全国目光亦俱亟亟以东南海防为忧，西北延长极万里之国防几于无人过问矣。然则西北之国防果无顾虑之必要乎？”
他自己回答是：一、“顾自外蒙脱我羁绊。宣布独立以来，苏俄之势力已深入蒙古之堂里奥……”二、“盖自英灭印度而后其目光常注射于我之西南，而欲置西藏于印度第二之地位，我若不早为之图，则西藏失而西康随之，西康失而川滇继之矣。”所以：“首宜充实内蒙各部之人口，开发内蒙各地之地利，建设内蒙各地之交通，启发内蒙各部之教育。简练内蒙之军队，以固吾北方之藩国。”至于西藏的关键，“厥为高原铁路系统之建筑”。“盖吾国内地与西藏之交通至为远阻，无论取道青海草地或四川、云南，均非跋涉不能到拉萨，而反观印度或缅甸方面与西藏之交通，则道路开辟，往来甚便，故今日吾人欲由内地赴藏，几无不假道印度，犹之欲至新疆者几无不假道西伯利亚，其为耻辱固无论矣，而交通之操于人手，设一旦英人与我龃龉，或竟不幸而至于开战，则彼之师旅可以长驱直进，不十数日而直抵拉萨。我则跋涉长途，日数十里，劳逸之势，胜负之分，固不待智者而始决也。”这道理讲得十分透彻，在当时不失为一种远见。他对西北边疆问题是十分热心的，曾编撰7万言的《蒙藏状况》一书，为国人提供了认识蒙藏的资料。根据他的这些言行，我们不能不说：马福祥是一位爱国者。