曾肇治平四年（1067）中进士，初为黄岩县主簿、郑州教授，后调崇文阁校书、馆阁校勘兼国子监直讲、太常寺同知。到崇文院后对秦汉以来的礼仪之规增补修正，使其完善，同时删定《九域志》，得到宋神宗嘉许，调国史馆编修，进吏部郎中，改右司，为《神宗实录》检讨。元祐初（1086），任起居舍人，不久为中书舍人。多次谏言朝廷应辩邪正，少宴乐，因意见不合，辞给事中职，以宝文阁待制知颍州（今安徽阜阳），调知邓州（今河南邓县）、齐州（今济南）、陈州（今河南淮阳）及应天府（今南京）。元祐七年，调为吏部侍郎，又因有关祭祀一事，改刑部，出知徐州、江宁府。
元祐八年（1093）十月，宋哲宗继位，起用一些旧臣，召曾肇入朝。曾肇建议选用忠信端良之士，防止近臣参政，遭贵戚攻击，出知瀛州（今河北河间）。绍圣四年（1097），前史官范祖禹等在修撰神宗《实录》时有讥讪言语，被降罪。曾肇参与修撰，亦被降调滁州。后复为集贤殿修撰，出知泰州、海州（今连云港市）。
元符三年（1100）正月，宋徽宗即位。曾肇复为中书舍人，上疏建议广开言路，昭雪元祐党人，改任翰林学士兼侍读，掌管起草诏令。时有谏官陈灌、给事中龚原以言获罪，无人敢救，曾肇挺身而出，极力进行辩解。建中靖国元年（1101），因兄布在相位，避嫌拜龙图阁学士，提举中太一宫。出知陈州，再任太原、应天府、扬州、定州（今湖北麻城）地方长官。修《哲宗实录》、《神宗宝训》、《国朝会要》，提举中太一宫。后出知陈、扬、定、岳、和州，历太原、应天府。
崇宁元年（1102），元祐期间的士大夫再度遭贬，曾肇亦被放逐到和州（今安徽和县）、岳州（今湖南岳阳），再贬到濮州（今山东鄄城）为团练副使，最后到汀州。四年，得以归。
大观元年（1107）卒于镇江。
事英、神、哲、徽四朝，共40余年，践14州，任吏、户、刑、礼四部侍郎，两为中书舍人。卒后30余年才被追封为曲阜县开国侯，赠少师，绍兴初谥“文昭”。明王世贞谓其书“如玉环拥（“九”加“重”），自是太平人物”。
当年太史谪仙翁，笔落江楼气吐虹。无复琴樽对鸥鸟，空遗松柏几秋风。
由来兰玉生台下，重见溪山入坐中。顾我岂能绳祖武，倚阑归思附冥鸿。
