サリーのドーキングに生まれる。父は16世紀末の
ユグノー戦争でフランスから逃れてきた
ユグノーの子孫で、
英国国教会牧師であったジェラルド・カー・オリヴィエ師。のちにオリヴィエは自伝において「上品だが貧しく、野心を抱くには最も適した環境に育った」と記してある。3歳の時に
ロンドンへ移り、母の希望で9歳でオール・セインツ教会聖歌隊に所属し、音楽を学ぶかたわら演技の勉強もした。12歳で母を病気で亡くす。
1921年に
オックスフォードのセント・エドワーズ・スクールに学び、
1922年にはオリヴィエの最初のシェイクスピア劇出演となる聖歌隊の公演である『
じゃじゃ馬ならし』でケイト役に扮し、続いて
1923年に学校劇で『
夏の夜の夢』の
パック役を演じて大成功を収める。この頃から俳優になることを決心し、また貧しい家庭環境で息子が世に出るには演劇の道しかないと判断した父親から風呂の中で「お前は俳優になるのだろう?」と言われたこともあり、
1924年に17歳でロンドンのセントラル・スクール・オブ・スピーチ・アンド・ドラマに入学した。