Schaeffer nació en Nancy. Sus padres eran ambos ingenieros, y al principio pareció que Pierre tomaría también esto como carrera. Estudió en la École Polytechnique y después de un periodo como ingeniero de telecomunicaciones en Estrasburgo desde 1934, encontró un trabajo en 1936 en la Office de Radiodiffusion Télévision Française (ORTF) en París. Fue allí donde empezó a experimentar con sonidos grabados, convenciendo a los directivos de la emisora que le dejaran usar su equipo. Intentó tocar los sonidos al revés, ralentizándolos, acelerándolos y yuxtaponiéndolos con otros sonidos, técnicas todas ellas que por entonces eran virtualmente desconocidas. Su primera obra acabada como resultado de estos experimentos fue el Étude aux chemins de fer (1948) que fue hecho con grabaciones de trenes.

Para entonces, Schaeffer había fundado el grupo Jeune France, con intereses en el teatro y las artes visuales así como en la música. En 1942, co-fundó el Studio d'Essai (más tarde conocido como el Club d'Essai), que tuvo un papel en las actividades de la resistencia francesa durante la Segunda Guerra Mundial, y se convirtió en un centro de actividad musical más tarde.

En 1949, Schaeffer conoció a Pierre Henry, y los dos fundaron el Groupe de Recherche de Musique Concrète (GRMC) que recibió un reconocimiento oficial por parte de la ORTF en 1951. Le dieron un nuevo estudio, que incluía un magnetófono. Esto fue un desarrollo significativo para Schaeffer, que previamente había tenido que trabajar con platos giratorios para producir su música. Schaeffer es generalmente considerado como el primer compositor que hizo música usando cinta magnética. Su continua experimentación le llevó a publicar A la recherche d'une musique concrète (En busca de una música concreta) en 1952, que era un resumen de sus métodos de trabajo hasta ese momento.