高心夔学识渊博，精研小学。工诗，多拟魏晋古风，自成一家，尤好渊明诗，故自号“陶堂”。在遣词造句上较多生新创奇。诗风沉雄峭拔，诙诡不测，属近代以拟古诗歌为标榜的“汉魏六朝诗派”主将之一。王闿运《湘绮楼说诗》评其诗风，曰：“高伯足诗少拟陆（机）谢（灵运），长句在王（维）、杜（甫）之间。中乃思树帜，自异湘吟。”亦好讥时人的名士李慈铭也不得不称高为：“实名士也，文学为江右之冠，己未，庚申两榜中人，罕能及之者。”高心夔博采众长，矜求新古，在近代诗坛中成为“鹰扬于楚蜀”的名家。
高心夔的篆刻功底深厚，不落恒蹊，是能于浙、皖两派外，别开生面者，现仍存有其不少刻印作品。善书法，所临颜帖，几可乱真，现存江苏宜兴“东坡书院”的匾额，即为心夔所书。
著有《陶堂志微录》5卷、《陶堂遗文》《恤诵》《碑求九》各一卷。
结交曾国藩
其时，曾国藩正率湘军与太平军在长江流域激战。高梦汉与同科举人、四川中江的李鸿裔间道拜谒曾国藩，诉说湖口情形，密献攻战之策，为曾国藩所器重，延入幕府，参赞军事。 曾国藩军中幕僚甚多，皆厚薪养之，但大多幕僚只会题诗作赋，吹牛拍马，并不能出谋献策。一次高梦汉和李鸿裔去见曾国藩，坐谈片刻，有客至，曾便出而见之。高和李独坐是室，见案头有《不动心说》一篇，乃曾府中号称“十圣贤”之一某名儒所著。文中有语：“使置吾于妙曼蛾眉之侧，问吾动好色之心乎？曰不动。又置吾于红蓝大顶之旁，问吾动高爵厚禄之心乎？曰不动。”俩人阅后，便联手援笔在文旁题诗一首：“妙曼蛾眉侧，红蓝大顶旁，尔心都不动，只想见中堂。”题讫，拂袖而去。 由于高梦汉所论往往与众不合，常常作诗奚落那些好吹吹拍拍的幕客们，为此常常与其他幕僚发生争执。梦汉感觉混入其中难展抱负，于是借口准备会试，拜辞曾国藩。曾国藩惜其人才，有心挽留，无奈梦汉去意已决，只有答应，并要梦汉带一封重要信件给朝廷权臣肃顺。
得识肃顺
赏识曾国藩，也曾多次对曾国藩嘱托，让曾为其举荐人才，曾国藩托付高梦汉带给信给肃顺，其实就是一封举荐信，只是梦汉并不知道。 当梦汉得以拜谒肃顺并递交曾国藩信件时，肃顺问他江南战况、吏治情况，梦汉说：“江南百姓万般痛苦，以湖口为例，反复的拉锯战使其生命财产损失惨重，十室九空，各地方官只想保住顶子，互相推诿，湘军筹粮筹饷十分困难。朝廷欲早平洪杨，就应以两江总督的权力给曾公。”肃顺一听，与自己观点暗合，十分高兴，又因有曾国藩的举荐，即欲当面聘高梦汉为“记室”，为其准备奏章、公文，参赞军机。梦汉一心想考功名，乃面露难色。肃顺见之，说：“知道你们读书人都注重功名，以你之才，不但应中进士，还可以中状元，请稍安勿躁，先在我这儿干一段时间吧。不过，你是否考虑改一个名字。”闻言，梦汉大喜，听从肃顺指点，改“梦汉”为“心夔”，入肃府为其幕僚。
高心夔在肃顺身边，尽心办事，又兼才能出众，深为肃顺倚重，成为其谋士。日渐心夔声名鹊起，朝野上下，称高心夔、王闿运、龙汝霖、李寿蓉、黄锡焘等五位名士为“肃门五君子”，高心夔位列其首。肃顺常与心夔论政务，对心夔言听计从，并采纳其建议，奏请文宗（咸丰帝），加国藩兵部尚书衔，署两江总督。 当时永州总兵樊燮傲倨无状，被左宗棠揍了耳光，樊把左宗棠告到皇上那儿。曾国藩和湖北巡抚骆秉章都上疏为左宗棠辩解，但文宗却没有表态。后秉章致书心夔，请他在肃顺面前说情缓解。心夔禀肃顺说：“宗棠以傲倨对樊之骄倨，失之为粗野，但樊以下骄上，失之为纲纪，此可容乎？且朝廷正当用人之际，季高（左宗棠之号）才名满天下，岂可不为季高争之乎？”肃顺颌首称是，遂在咸丰帝前免了左宗棠的不测之祸。
误押十三元
咸丰九年（1859），心夔应会试，肃顺任收卷大臣，一心想把状元帽子给高心夔戴上。又怕有才华超过心夔的，便想了个办法，限定下午四时必须交卷，不料还不到四时便有一人交了上来。肃顺气得一把塞在朝靴筒内，直到回家脱靴才发现，不觉吓了一跳，急忙派快骑将试卷送到阅卷大臣处，阅卷大臣以为这个卷子肯定是头等重要的，乃作为第一名呈给皇上。高心夔也在前10名之列，及到殿试，肃顺还是暗中为心夔争状元。然而，鬼使神差，心夔在作命题律诗的时候，诗题限押“文”韵，而误入“元”韵，遂不与三甲之列。状元衔就这样与他擦肩而过。 次年会试，肃顺再次轻身犯险为高心夔“助拳”。这年恩科会试，心夔入了二甲，参加殿试。肃顺神通广大，考前一日探听到诗题为“纱窗宿斗牛得门字”，出处为唐人孙逖的《夜宿云门寺》。立即把心夔叫来，嘱咐他连夜赶做。第二日入场，果然是这个题目，场中三百多人，几乎没有知道此题出处的。心夔大喜，自命不作第二人想。匆匆写就，出来就找肃顺报喜。肃顺接过诗稿一看，顿足捶胸，大叫“完蛋！完蛋！”原来，高心夔记错了韵部，押韵的八个字除了“门”字外，都押到了“十一真”韵，而“门”字在韵部却属于“十三元”。考试出韵，内容再好也要被淘汰，榜下，心夔又列四等。同时落选的王闿运幸灾乐祸，送他一副对仗工整的对联：“平生双四等，该死十三元”。肃尚书办事再精密，也禁不住心夔如此疏忽，除了相对苦笑，就只能慨叹命定不是富贵之人了。 这年，只中了进士的高心夔，被派往翰林院，当年以同知衔发往江苏吴县任知县。就任两任知县其间，心夔尊贤任能，断狱公允，多有政声，且为人随和，颇有亲民作风。
一次，心夔主持童试，有人学赞礼高喊：“高心夔。”一个童生应声：“何不对《水浒》中的矮脚虎。”高心夔听了不但不生气，还连声赞好。 辛酉之变，肃顺伏诛，肃府幕僚仓皇逃窜，生怕被当作“肃党”惩治，功名利禄，俱化为泡影。因此，后人有评论者说高心夔是“平生错一韵，翻手两重天。”意即倘若心夔果真中了状元，留在朝中为官，说不定要被划入肃顺死党，祸及性命。
孤云触壁垒，翩来堕东荒。沧海试临眺，势压万丈强。
积水澹悠悠，亹断中无梁。户限割要会，龙蜃渊委藏。
日月蹋潮至，涵育青冥光。规险置雄都，江汉久沸汤。
所备偶弗缮，千里同一创。禹航郁惊涛，弱宋县帝乡。
在昔锋镝窟，寒墟散牛羊。湖风恋箫管，觥船乐未央。
君知杞客忧，几倍钱江长。清浅衣带渡，浙西近剥床。
吴越相吞灭，况邻貙与狼。深人计堂奥，远能制河湟。
安得恭俭臣，内息百祸殃。
谲龙息形生，夭矫萦水脉。一壑滂千曲，浅之万余尺。
{艹/缥}辚十道车，声此怒淙赫。荛童指岩背，旷有丹师宅。
梁起绳度空，心堕风掤石。凝苔荐轻履，引藤眩飘帻。
险过寒光平，屋树通皓白。戮立坐无阶，垂足当户席。
鲛绡摄潭底，綷縩曳天脊。仰头逝仙群，铃佩吟雾帟。
朗悟源上源，鸳浆梦今夕。
城南苍苍江涌日，烟芜一点飞黄出。西来气与月窟高，欲掩临湘八千匹。
昂藏甫络金缦胡，沫赭得非泑泽驹。盘筋当臆走四腕，悬瞳夹镜寒星珠。
竽梢磊荦腾青渠，猛士执靶怒有余。塞门横空见猎火，斗起嚼齿思先驱。
待御柔心还自惜，看人错莫伤精魄。天下骅骝嘶朔风，万里浮云蔽何益。
拔地回山歌对君，歌声詄荡排双戟。
