Sus inicios en el fútbol amateur comenzaron en un equipo de su ciudad, el Avenida, al que daba nombre el Bar Avenida regentado por Elías Jualian Brizuela, esto tuvo lugar en los años 50 hasta que en 1957 paso al Castro FC. Comenzó su carrera como aficionado en el Castro FC, después pasó a la Gimnástica de Torrelavega y al Rayo Cantabria. Posteriormente fichó por el Racing de Santander, y en 1961 ingresó en la plantilla del F. C. Barcelona.

Con el Barcelona jugó 209 partidos y consiguió el gol 2000 del conjunto azulgrana frente al Valencia C. F. Pedro Zaballa era un extremo rápido, fue una de las figuras destacadas del Barcelona durante la primera mitad de la década de los 60. Logró una Copa del Generalísimo en la final disputada al Real Zaragoza. Fue dos veces internacional, una con la selección B y la otra con la A. Jugó contra Francia y frente a Irlanda, en Dublín. En este partido, ganador por España, el cántabro fue la gran estrella, ya que marcó los dos goles de la Selección española.

En la temporada 1967-1968 pasó al Sabadell. Zaballa protagonizó un momento inolvidable en la historia del fútbol español. Ocurrió durante su etapa como jugador del Sabadell, en un partido de Liga frente al Real Madrid. En un gesto absolutamente inusual, envió el balón fuera del terreno de juego, cuando se encontraba en una situación de gol para permitir que se atendiera al portero madridista Junquera, que se había lesionado en una acción precedente. Este bello gesto en el estadio Santiago Bernabéu le valió para ser premiado por la Unesco en París, con el "Fair play" (juego limpio) en reconocimiento a la deportividad. Desde la temporada 1998-1999 la Real Federación Española de Fútbol entrega anualmente el Trofeo Pedro Zaballa a la afición, club, jugador o presidente que se ha distinguido por su comportamiento ejemplar.

Se retiró del fútbol de élite vistiendo la camiseta del Real Oviedo, donde jugó su última temporada (1970-1971). Después de una larga enfermedad, falleció en Oviedo, donde residía, el 4 de junio de 1997. Tenía tan sólo 58 años de edad.

En la actualidad en su ciudad natal existe una peña racinguista con su nombre, la peña Peru Zaballa & Zamanillo.