元谐，河南洛阳人，家代贵盛。个性豪侠，有气调。少与隋高祖同受业于国子学，甚相友爱。后以军功，累迁大将军。

隋高祖为丞相，引致左右。元谐白于隋高祖曰：“公无党援，譬如水间一堵墙，大危矣。公其勉之。”尉迟迥作乱，遣兵寇小乡，令元谐击破之。

隋高祖受禅，上顾谐笑曰：“水间墙竟何如也？”于是赐宴极欢。进位上大将军，册封乐安郡公，邑千户。奉诏参修律令。

吐谷浑寇凉州，诏元谐为行军元帅，率行军总管贺娄子干、郭竣、元浩等步骑数万击之。上敕谐曰：“公受朝寄，总兵西下，本欲自宁疆境，保全黎庶，非是贪无用之地，害荒服之民。王者之师，意在仁义。浑贼若至界首者，公宜晓示以德，临之以教，谁敢不服也！”时贼将定城王钟利房率骑三千渡河，连结党项。元谐率兵出鄯州，趋青海，邀其归路。吐谷浑引兵拒谐，相遇于丰利山。贼铁骑二万，与谐大战，谐击走之。贼驻兵青海，遣其太子可博汗以劲骑五万来掩官军。谐逆击，败之，追奔三十余里，俘斩万计，虏大震骇。于是，移书谕以祸福，其名王十七人、公侯十三人各率其所部来降。上大悦，下诏，拜宁州刺史，颇有威惠。然刚愎，好排诋，不能取媚于左右。尝言于上曰：“臣一心事主，不曲取人意。”上曰：“宜终此言。”后以公事免。