Nato a Rochester, in Minnesota, il 19 luglio 1865, era il secondo figlio di William Worrall Mayo. Charlie, come lo chiamava il fratello Will, era un giovane minuto dai capelli neri e gli occhi castani, più tranquillo del vivace fratello maggiore. Aveva sviluppato un incredibile interesse per gli oggetti meccanici, tanto che a soli quattordici anni fu in grado di riprodurre un telefono partendo dalle sole illustrazioni. Frequentò la scuola alla Rochester Central, ma decisamente non gli piaceva, infatti ogni giorno scappava dall'aula e la madre, dopo averlo trovato, lo riportava a scuola e lo lasciava lì finché non avesse imparato la lezione. Charlie perse l'abitudine di scappare. Durante l'intervallo correva a casa dalla madre per prendere del pane per poi correre di nuovo a scuola, spesso in ritardo, così l'uomo che suonava la campanella gli gridava di affrettarsi e continuava a suonarla finché Charlie non fosse seduto in aula. Era uno dei migliori studenti, ma allo stesso tempo uno dei più terribili infatti l'insegnante sospettava sempre di lui per ogni malefatta. Esattamente come il fratello, Charlie fu introdotto alla chimica e ala fisica dal padre e all'astronomia e alla botanica dalla madre, lesse molti romanzi di Walter Scott, Charles Dickens e James Fenimore Cooper, con il trascorrere degli anni si interessò agli scritti di Charles Darwin, Thomas Henry Huxley e Herbert Spencer. Già da molto giovane Charles assisteva il padre nelle sue visite ai pazienti. Un giorno, quando durante un'operazione l'anestetista svenne, il dr. Mayo prese uno sgabello e vi fece salire su il piccolo Charles per fare in modo che potesse somministrere l'anestetico al paziente. Questa fu la sua prima esperienza in ambito chirurgico.