De Afvallige speelt zich af in het New York van de jaren zestig. De wat cynische intellectueel Martin Vogel krijgt nieuwe bovenburen: het streng gelovige en pasgetrouwde stel Jim en Patricia Baker. Na enige tijd merkt hij dat er barsten verschijnen in het jonge huwelijksgeluk. Er klinken nachtelijke huilbuien en ook andere tekenen wijzen erop dat zich boven zijn hoofd geen idylle afspeelt. De atheïstische Vogel neemt zich voor de jonge vrouw van haar geloof te bevrijden, maar dat gaat niet zonder slag of stoot.