贞观二十一年（公元647年）正月初四，申国公高士廉病重，李世民为此专门辍朝一日，亲临申国公府探望。
当李世民来到高士廉的病榻前，高士廉已经行将就木，命悬一线。长孙无忌、高履行三兄弟、袁天纲及高淑行都神情悲戚地围在病榻前，随时服侍着高士廉。他们见到李世民进屋，都纷纷给李世民行礼，李世民忙摆手示意免礼。然后李世民走上前，拉着高士廉干枯的右手，忍不住泪流满面，轻声对高士廉说：
“舅父，朕来看望您了。”
高士廉一直紧闭着眼睛，听到李世民的声音，他微微地睁开眼，想起身行礼，但病体无法支撑，李世民轻抚着他瘦骨嶙峋地胸膛，继续轻声说：
“舅父，朕来看您，您好好休息，无须繁文缛节。”
高士廉看着李世民，两行清泪淌下来，他气若游丝地向李世民谈起自己的一生经历：
“圣上，我虽是北齐皇室后裔，但早年郁郁不得志。隋朝时期，因好友斛斯政叛逃高丽事件，被贬官于岭南。后来依附萧铣，为唐军所败，被俘虏到长安，这才开始为圣上效力。我有幸参与了玄武门之变，官至门下省侍中、司空等要职，封申国公，位极人臣，外甥女贵为皇后，外甥贵为司徒，长子高履行娶了东阳公主，女婿袁天纲当上了宰相，我现在已没有什么遗憾的，遗憾的是文德皇后英年早逝，如果能换命，我可以把自己的寿命换给文德皇后，好让她辅佐您更长时间。”
李世民听罢，泣不成声，他轻声对高士廉说：
“舅父您有什么要求尽管告诉朕。”
高士廉气若游丝地留下遗言，哭着与太宗诀别：
“愿圣上与太子父慈子孝，和睦相处；愿圣上能始终如一地善待功臣，让功臣得以善终；愿圣上谨慎用兵高丽，让百姓休养生息。”
高士廉说完，就气喘吁吁而不能言。李世民听罢，感叹高士廉人之将死，不提自己高家私事，全部都是忧国忧民的肺腑之言。他对着高士廉说：
“舅父，朕记住您的话了，请您放心！” 说完，李世民从怀里掏出手帕，先给高士廉擦拭眼角的眼泪，再擦拭自己的眼泪时，因一时伤感而不停地抽泣起来。
贞观二十一年（647年）正月初五，高士廉去世，享年七十三岁。李世民听闻噩耗，不由地痛苦不已，为此辍朝七日，追赠司徒、并州都督，谥号文献。并亲笔写下《赐高士廉陪葬诏》，对高士廉盖棺定论：
“……故开府仪同三司、上柱国、申国公士廉，德范宏深，风猷远着，道高廊庙，望重勋贤。职在铨衡，穆九流而驰誉；位居端右，总百揆而腾芳。
……朕爰在弱龄，早敦姻戚，绸缪眷遇，多历年所。……徽音日远，宜崇礼命，式表哀荣。可赠司徒、使持节都督并、汾、箕、岚四州诸军事，给班剑四十人，及羽葆鼓吹，赙绢布二千段，米粟二千石。陪葬昭陵，令摄鸿胪卿监护。”
李世民要前往申国公府哭丧，褚遂良、马周等重臣认为圣上生病刚好，不宜去哭丧，怕影响他身体健康，都执意劝谏阻止。
李世民声泪俱下地说：
“高申公（高士廉）与朕不仅仅是君臣关系，还是姻亲关系，怎么能够听到他的噩耗不前往哭丧呢？卿等都不要再说了！”
于是，李世民执意率人从兴安门出发，前往国公府哭丧。长孙无忌正在高士廉灵堂，听到圣上将要到府门，他立刻停止哭丧，拦在李世民的御马前劝谏道：
“圣上正在吃药，药方上说是不得哭丧的，圣上为何不为宗庙社稷和天下百姓着想，善自保重自己的龙体呢？况且臣的舅父临死时有遗言, 不愿因自己的死，而让圣上屈驾前来。”
李世民不听从，执意要进府哭丧。长孙无忌伏卧在道路的中间，流着眼泪再三苦苦劝谏，李世民才返回皇城，他仍不甘心，每日站在皇城的城楼上，望着南面的高士廉府邸方向痛哭流涕、泪如雨下。
高士廉与世长辞后，举国同悲。长安城百官、百姓及外国朝贡使者，都沉痛哀悼这位功勋卓着、亲民勤政的好宰相，纷纷前往申国公府拜祭。在申国公府的灵堂前，只见高府上下男子身穿白布衣，被发徒跣；妇女身穿青缣衣，去掉首饰。长孙无忌与高士廉的长子高履行一起跪在灵柩前，悲痛不已。其他兄弟、袁天纲及高淑行都跪在他们身后，也在不断地哭泣。
灵柩前挂着九尺长的明旌，灵柩前韬杠上写着：“司徒封之柩”。高士廉遗体已经装入棺椁。在棺椁旁放置有八个篚，里面分别盛着两碗黍、稷、粱、稻。
前来吊唁的人络绎不绝，都上前接过一束香，点燃后，向灵柩前深鞠三次躬，将香插入供案前的香炉里，长孙无忌、高履行率领兄弟妹妹都向客人磕头还礼。
出葬日，李世民诏命文武百官集体去参加送葬。当輴车将要出府时，祝帅在輴车前摆放食馔进行祖奠，并跪在布輴车前高呼：“永迁之礼，灵辰不留，谨奉旋车，式遵祖道，尚飨。”
祖奠仪式完毕，盛有灵柩的輴车离开申国公府，缓缓地向昭陵方向驶去，当輴车走到横桥时，李世民早早地登到皇城的城楼上,望着灵柩失声恸哭，望着远去的輴车仍然依依不舍，直到远去。
高士廉的丧礼结束后很长一段日子，李世民仍然怀念他，并对身边的重臣说：
“高士廉为人涉猎古今，学识渊博，做人光明磊落，临难不改气节，当官从不结党营私。他的缺点就是为人有些圆滑，从不犯上谏言。
他品德高尚，声名显赫，堪称一代贤臣。他在当宰相期间，功勋卓着，权高位重，但为人廉洁奉公、勤勤恳恳、谦虚谨慎、低调做人，鞠躬尽瘁，死而后已，堪称大唐官员队伍的典范，应号召大唐官员们都向他学习。”