Ансельмо родился в городке Баджо недалеко от Милана, завершил учебу в клюнийской школе Ланфранка в аббатстве Ле-Бек.
В 1057 году он был назначен епископом Лукки под именем Ансельмо I. Он распорядился перестроить городской собор. Ансельмо поддержал идеи Григория VII и возглавил патарию Милан, народное движение против безнравственности духовенства.
Восхождение на папский престол Ансельмо было инициировано Хильдебрандом, который действовал в соответствии с указами 1059 года. Александр II стал первым папой, который избирался на собрании кардиналов, без вмешательства немецкого императора. Он также не отрекся от престола Лукки, который занимал до своей смерти. На момент своего избрания он был кардиналом. Александр II боролся за безбрачие духовенства и против симонии.
Избрание Александра не было санкционировано правительницей Священной Римской империи, Агнеса де Пуатье, вдовой императора Генриха III и матерью будущего императора Генриха IV. Агнеса, в соответствии с практикой, применявшейся при предыдущих выборах, предложила другого кандидата, епископа пармского Кадало, который на совете в Базеле был провозглашен папой Гонорием II. Гонорий со сторонниками двинулся на Рим и в течение длительного времени угрожал позициям Александра.
На созванном в 1062 году архиепископом Кёльна Анно II церковном собрании избрание Гонория было объявлено незаконным, и Александр II всеми единогласно признан папою. Решение церковных вопросов, постановления относительно инвеституры и целибата, так же как и все мероприятия, клонившиеся к унижению Генриха IV, хотя и принимались, по-видимому, Александром II, но на самом деле исходили от кардинала Гильдебранда, его канцлера и непосредственного преемника, который уже тогда был душою всего папского управления.