Происходил из Каппадокии; «красавец армянин». В армии и восточных фемах Роман IV опирался, прежде всего, на военачальников-армян. При императоре Константине Дуке был назначен правителем Средца.
Принадлежа к военно-патриотической партии, Роман с ненавистью относился к партии придворно-бюрократической, во главе которой стояли брат покойного царя, кесарь Иоанн Дука, и Пселл. Уличённый в заговоре, с целью добиться престола, Роман был схвачен и привезён в столицу, где вдовствующая царица Евдокия, при допросе арестованного, была поражена его мощной фигурой и благородной осанкой. Роман получил прощение и вскоре был возведён в сан магистра и стратилата.
Евдокия, наследовавшая престол вместе с 3 сыновьями Дуки, Михаилом, Андроником и Константином, вскоре убедилась, что ослабленному внешними и внутренними неурядицами государству может помочь только сильная рука воина, и решила вторично выйти замуж, хотя, по рассказу Скилиция, и дала обещание не вступать в новый брак. Придворный кружок, опасавшийся за своё влияние, ревниво следил за точным выполнением этого обещания, но патриоты наметили Романа как кандидата на престол. 31 декабря 1067 года Роман был тайно введён во дворец, и его противникам пришлось признать совершившийся факт.
В силу договора, формально заключённого с Романом, титул царей носили, вместе с ним, и сыновья Дуки. Придворная партия ненавидела нового царя, мужественного, но малопроницательного и легко увлекавшегося. Её интриги проникли даже в армию, в среду высших офицеров. Стали ходить слухи, будто Роман намерен свергнуть Евдокию и сыновей Дуки, чтобы единовластно править государством.