晋武帝太康九年（288年），分义阳郡随县、平林县置随郡，治随县（今湖北省随州市），属于荆州，以司马迈为随郡王。刘宋下辖随阳、永阳、关西、西平林四县，属于雍州。宋明帝泰始五年（469年）改为随阳郡。属于司州。南朝齐改名随郡。宋文帝刘义隆第六子广陵王刘诞、宋顺帝弟刘翙、齐武帝萧赜第八子萧子隆均为随郡王。南梁太清（549年），岳阳王萧察投降西魏，西魏设立随州。历北周，隋文帝杨坚之父杨忠因为在随郡担任地方官，而被封为随国公。隋朝以此为号。隋文帝开皇三年（583年），废随郡。隋炀帝改隋州为汉东郡。