Vilniuje vyskupą emeritą pasitiko artimieji, gausus būrys brolių pranciškonų, taip pat Lietuvos Vyskupų Konferencijos pirmininkas, arkivyskupas Gintaras Grušas, Panevėžio vyskupas Linas Vodopjanovas bei ilgametis vyskupo bendradarbis prelatas Edmundas Putrimas.

P. A. Baltakis gimė 1925 m. Anykščių rajone, gausioje 11 vaikų šeimoje. Mokėsi Kretingos ir Anykščių gimnazijose. Dalyvavo partizaniniame judėjime, o 1944 metais Šeduvoje vokiečių buvo suimtas ir išvežtas darbams į Suomiją ir Norvegiją. 1945-1952 m. Belgijoje studijavo teologiją ir filosofiją, 1952 metais tapo kunigu ir vienuoliu pranciškonu.

Persikėlęs gyventi į JAV atsikūrusią lietuvių pranciškonų šv. Kazimiero kustodiją, 1953-1963 metais buvo lietuvių Prisikėlimo parapijos vikaras ir vienuolyno Toronte vyresnysis, 1969-1979 metais Šv. Kazimiero vienuolyno Niujorke vyresnysis. 1979-1984 metais ėjo provincijos ministro pareigas.

1984 m. birželio 13 dieną šv. Popiežius Jonas Paulius II paskyrė tėvą P. A. Baltakį išeivijos lietuvių vyskupu. Jis buvo pirmasis vyskupas, paskirtas tokioms pareigoms.

JAV vyskupų konferencija priėmė vyskupą Paulių visateisiu nariu. Prelato E. Putrimo vertinimu, tai buvo didelis laimėjimas, kuriuo Amerika pripažino Sovietų Sąjungos okupuotą Lietuvą ir pogrindyje veikusią Katalikų Bažnyčią bei jos siekius.

Pasak prelato, tėvas P. A. Baltakis buvo Lietuvos pogrindžio Bažnyčios balsas pasaulyje. Per jo paskyrimą ir asmenybę Katalikų Bažnyčios Kronika plito pasaulyje, o būdamas Lietuvių katalikų religinės šalpos pirmininkas, jis padėjo finansiškai remti pogrindžio Bažnyčią.

Nuo 1984 iki 2003 metų tėvas Paulius vadovavo užsienio lietuvių katalikų sielovadai, aplankė bene visas pasaulyje lietuvių katalikų bendruomenes ir parapijas, rūpinosi 140 lietuvių katalikų parapijų ir misijų, beveik milijono užsienio lietuvių katalikų sielovada, palaikė glaudžius ryšius su Lietuvos vyskupais ir tikinčiaisiais, išgarsėjo kaip aktyviausias Lietuvos tikinčiųjų teisių ir laisvių gynėjas bei užtarėjas pasaulio katalikų bendruomenėje.

Baigęs vyskupo tarnystę, 2003-2009 metais tėvas P. A. Baltakis gyveno Niujorke ir toliau vadovavo labdaros organizacijai „Lietuvių katalikų religinė šalpa“. Pastaruosius metus vyskupas leido Kenebunko šv. Antano pranciškonų vienuolyne.