这时的尹东家可谓是兵败地失，内外交困，上下离心。
尹东义佑如今更是连最为基本的守城之心也丧失了，眼见岛津军兵锋直指都于郡城，他却不分昼夜的举办宴会来独自享乐，完全不顾大敌当前的处境。
当岛津军真的兵临城下后，尹东义佑想都没想就选择了弃城，直接带着少数亲信家臣与家卷一同逃到了左土原城之中，并在此地与从饫肥城逃回的尹东佑兵所率残部会合。
然而，岛津义久并不打算给尹东义佑丝毫喘息之机，在夺取都于郡城后，他就派遣其弟岛津义弘、岛津家久等人率七百余军势作为先阵，直扑尹东义佑所在的左土原城。
听闻岛津军先阵七百余军势即将兵临城下后，尹东义佑仍然没有与之一战的勇气，没有做好任何笼城固守的准备，就再度弃城而逃。
尹东家经营十一代的本据都于郡城以及尹东义佑耗费大量人力、物力、财力所修筑起来的左土原城就这样在几乎没有什么像样的抵抗下，在一天之内先后落入岛津军之手。
就在尹东义佑带着少数亲信家臣、家卷正狼狈逃窜之际，尹东家之中也是有忠义之人存在的。
以尹东佑审、尹东佑青、饭田肥前守等人为主的少数尹东家重臣依然在抵抗岛津家的侵攻。然而，在岛津军以及上杉将军家援军（长宗我部势、西园寺势）那凌厉的攻势面前，无异于螳臂当车一般的尹东佑审、尹东佑青、饭田肥前守等人最终还是因麾下兵力寡少而不敌兵败。
尹东佑青先是在越野尾率一百余军势意图突袭岛津军小荷驮队之时，遭遇了福永右友、土持亲成、上原尚近等岛津军诸将所组成的偏师，结果寡不敌众，当场被讨取。而尹东佑审、饭田肥前守等人在陷入孤立无援的境地后被迫切腹自尽，也不愿向岛津家投降。
至此，于建武二年（1335）尹东佑持下向日向一国始，在日向国中延续有二百三十六个年头，曾经雄踞日向一国的战国大名尹东家也已经走到尽头了。
失去了本据的尹东义佑一行人深知，在日向一国已经再没有尹东一族的立足之地了。在经过再三权衡后，尹东义佑便决定前往丰后一国，去投奔自称九州探题的大友宗麟。
按照尹东义佑的原先所制定的计划，是准备经富田城至财部城，再由财部城进入丰后国境内。
然而，尹东义佑、尹东佑兵、尹东归云斋等一行人才经过富田城后不久，富田城城主汤地定时就见尹东家大势已去，便不愿继续效忠于尹东家，便在岛津军兵临城下之前就主动开城向岛津家投降了。
正所谓屋漏偏逢连夜雨，船池又遇打头风。
还在逃亡之中的尹东义佑一行人就听到了流言，作为尹东家谱代家臣出身的落合兼教也倒向了岛津家一方。
然而，尹东归云斋并没有经过核实，就直接不经尹东义佑许可，便擅自将落合家先前递交的人质处决。
如此一来，原本还没有倒向岛津家的财部城城主落合兼教对此感到愤怒不已，便在一气之下就派兵阻拦尹东义佑一行人的去路，并准备真的倒向岛津家。
已经毫无退路的尹东义佑只好抱着侥幸心理，派出使者东光坊以及山伏栗木太郎五郎二人前去出使财部城，希望能说服落合兼教让出一条通道，让自己一行人能够前往丰后。
结果，使者东光坊当场被正在气头上的落合兼教斩杀，仅剩下栗木太郎五郎一人好不容易才逃得一命返回汇报此事。
尹东义佑并不死心，处决落合家人质一事本就不是自己的意思，都是近臣尹东归云斋的擅自行动。
于是，尹东义佑就打算借尹东归云斋的人头来换得落合家回心转意。
但是，还没等尹东义佑正式行动之际，落合兼教就率一百余军势从财部城中杀出，直接对曾经的主君刀兵相向。
这时，发现经财部城前往丰后已是不可能之事的尹东义佑、尹东佑兵等一行人只能转向穗北城。
值得尹东义佑、尹东佑兵等一行人庆幸的是，天无绝人之路。
穗北城城主长仓洞云斋并没有忘记尹东家数代以来的恩顾，就派遣其嫡男长仓藤七郎前去迎接尹东义佑、尹东佑兵等一行人入城休整，尹东义佑也因此暂时获得了喘息的机会。
可是，前往丰后的通路已被落合兼教封锁起来。
并不想做岛津家阶下囚的尹东义佑经过再三思索后，决定做出一场豪赌——翻越米良山前往丰后。
元龟二年，六月十日。
尹东义佑与其子尹东佑兵、孙子尹东义贤和尹东义胜及亲信家臣、家卷等一百五十余人冒险翻越米良山。
米良山山势险要，山路崎区难行。
在炎炎烈日的照耀下，失败者只能忍受着极度的炎热与饥饿，并沿着山嵴的险路，异常疲惫地在山林之中摸索前行。这算得上是一条地狱的巡游之路，等到尹东义佑、尹东佑兵等一行人最终活着抵达丰后大友领境内，就只剩下八十余人了。
在米良山中颠沛流离了半个月的时间，一行人终于走出大山，并得到了中山城城主三田井亲好的接应。
大友宗麟在得知尹东义佑还在人世后感到非常高兴，当即派遣亲信家臣角隈石宗率一千余军势前去迎接尹东义佑、尹东佑兵等一行人进入丰后。
由于尹东义益的正室阿喜多夫人是大友宗麟侄女的这层关系，加上大友宗麟也希望以尹东义佑能协助大友家攻入日向一国，就对尹东义佑、尹东佑兵等人进行厚待——将大野郡野津寺小路村光明寺的宅邸以及野津院三百町的领地赐予尹东义佑。
大友宗麟的这些举动很快就收到了极大的成效，被迫投降岛津家的门川城城主米良四郎右卫门尉、盐见城城主右松四郎左卫门、山阴城城主米良山城守、中山城城主三田井亲好等人得知尹东义佑获得大友家的庇护，正居住在丰后的消息后，纷纷遣使向尹东义佑送来密书，相约“若大友家发兵南下进攻岛津家，我等必开城相迎，并能担任大友军的先导役。”