Rånarna körde in på Metro Bank-kontoret vid Babbage Gate, Oakgrove i Milton Keynes kl. 04.20 BST, sa polisen.
Kassamaskinen sattes i en mörk 4x4, och tjuvarna körde iväg i fordonet och en vit VW Golf.
Polisen vill att alla med mobilbilder från räden hör av sig.
Ray Cardy, som gick förbi banken strax efter razzian, sade: " Lastbilen hade körts genom ytterdörrarna, svängt runt och slagit sönder bankomaten bakifrån.
"Resten av den var på gångvägen - dumperns motor var fortfarande igång."
En talesman för Metro Bank avböjde att avslöja hur mycket pengar som hade tagits.
Fyra balaclava-klädda män krossade en dumperbil framför en bank och rymde med sin bankomat.