На совете в Форхайме в марте 1077 года князья в присутствии папских легатов вновь объявили Генриха низложенным и избрали правителем Рудольфа Швабского. Папа некоторое время колебался, выбирая, кого из противников поддержать, и в итоге решил поддержать Рудольфа после его победы в битве при Флархгайме 27 января 1080 года. Под давлением саксов Григорий отказался от своей политики ожидания и снова произнес отлучение и низложение короля Генриха 7 марта 1080 года.
Но папское порицание в этот раз даже помогло Генриху. По мнению многих, оно было несправедливым, и люди стали сомневаться в обоснованности действий Григория. Кроме того, Рудольф Швабский умер от ран 16 октября того же года. Новый антикороль, Герман Зальмский, был выдвинут в августе 1081 года, но его личность не годилась для роли лидера григорианского партии в Германии, и Генрих IV перехватил инициативу. Он отказался признать отлучение. На совете в Бриксене 16 июня 1080 году Генрих при поддержке недовольных папой германских епископов снова низложил папу и назначил антипапу Климента III. В 1081 Генрих начал открытые боевые действия против Григория в Италии. Папа стал терять позиции, и тринадцать кардиналов покинули его.