Филипп был сыном неаполитанского короля Карла II и Марии Венгерской, дочери венгерского короля Иштвана V. Отец планировал сделать его императором Восточного Средиземноморья, и потому 4 февраля 1294 года даровал ему в Экс-ан-Провансе титул «князя Таранто», а 12 июля 1294 года сделал викарием-генералом Сицилийского королевства.
В тот же день Филипп женился по доверенности на Тамаре Ангелине Комнине, дочери эпирского деспота Никифора I Комнина Дуки, который, опасаясь Византийской империи, искал покровительства Анжуйской династии. 13 августа 1294 года Филипп и Тамара поженились лично в Л’Акуиле. После свадьбы Карл передал Филиппу сюзеренитет над Ахейей и Албанией, а также права на Латинскую империю и на Влахию.
Никифор дал в качестве приданного дочери этолийские крепости Воница, Врахова, Гирокастра и Навпакт, а также согласился, чтобы после его смерти наследование шло бы по линии дочери, а не по линии сына Фомы. После смерти Никифора в 1297 году Филипп взял титул «Деспот Романии», предъявив права на Эпир, Этолию, Акарнанию и Влахию, однако византийская вдова Никифора Анна Кантакузина провозгласила деспотом Эпира сына Фому, а сама стала регентом.