A família Havilland mudou-se de Tóquio para Saratoga na Califórnia quando Olivia tinha apenas dois anos de idade. Olivia estudou na Los Gatos High School em Los Gatos e no Convento de Garotas Católicas de Notre-Dame em Belmont. Hoje, a escola de Los Gatos possui um prémio para jovens actores com o nome da actriz.
A carreira de Olivia começou contracenando com Joe E. Brown em Alibi Ike em 1935. Ela apareceu como Hérmia em Sonho de uma Noite de Verão, sua primeira produção teatral, no Hollywood Bowl. A produção teatral foi mais tarde transformada em um filme de 1935 com o mesmo elenco dos palcos.
Olivia contracenou com Errol Flynn em oito filmes entre 1935 e 1941, formando uma das mais conhecidas parcerias no ecrã. O primeiro filme foi Captain Blood (1935, Capitão Blood em Portugal), seguindo-se The Charge of the Light Brigade (1936), It's Love I'm after (1938), The Adventures of Robin Hood (1938, As Aventuras de Robin Hood em Portugal), Dodge City (1939), castigada com uma personagem secundária por Jack Warner em The private lives of Elizabeth and Essex (1939, Isabel de Inglaterra em Portugal) por ter feito Gone with the wind, Santa Fe Trail (1940) e por fim They died with their boots on (1941). Olivia devia ainda ter contracenado com Flynn em The Sea Hawk (1940, O Falcão dos Mares em Portugal), mas encontrava-se indisponivel, a filmar outro filme, sendo substituída por Brenda Marshall.
Durante os primeiros anos da decada de quarenta, são famosos ainda os seus desempenhos em The Strawberry Blonde com James Cagney (1941), In this our life com Bette Davis e The Male Animal com Henry Fonda, ambos de 1942.
Sua carreira alterou-se permanentemente quando interpretou Melanie Wilkes na adaptação cinematográfica de Gone With the Wind (em Portugal teve o título de E tudo o vento levou, no Brasil ...E o Vento Levou de 1939. Por este desempenho ela recebeu a primeira de cinco nomeações para um Oscar desta feita como Melhor Actriz Secundária. Dos quatro actores principais do filme (as outras: Clark Gable, Vivien Leigh e Leslie Howard), Olivia é a única ainda viva. Ironicamente, sua personagem é a única das quatro a morrer no filme.
Em 1941, Olivia tornou-se uma cidadã naturalizada dos Estados Unidos. Olivia e sua irmã foram nomeadas cada pelo Oscar de Melhor Actriz Principal em 1942. Joan foi indicada com Suspeita de Alfred Hitchcock e Olivia com Hold Back the Dawn (no Brasil, Porta de Ouro). Joan ganharia a estatueta, recusando-se a deixar irmã cumprimentá-la. Anos mais tarde o inverso ocorreria: Olivia ganhou o prémio em 1947 e não deixou sua irmã cumprimentá-la.
Foi durante a época da indicação ao Oscar que Olivia percebera seu verdadeiro potencial artístico. Frustada pelas ofertas de papéis que recebia por parte do estúdio Warner Brothers para quem trabalhava, começou a recusar os filmes que lhe eram oferecidos. A lei permitia que os estúdios suspendessem o contrato de actores que recusassem filmes. Na teoria isso permitia que os estúdios mantivessem controle indefinido sobre um contrato não-corporativo. Muitos aceitavam essa situação, enquanto poucos tentavam mudar o sistema (o caso mais notável sendo o de Bette Davis, que abriu um processo mal-sucedido contra a Warner Bros. na década de 1930). Olivia contudo ganhou e rescindiu o contracto, podendo fazer filmes em qualquer estúdio. Por causa disto, o seu último filme para a Warner só foi distribuido em 1946, com três anos de atraso.
A qualidade e variedade dos papéis oferecidos à ela começou a melhorar. Ela ganhou o Oscar de Melhor Atriz em 1947 e 1950 com os filmes To Each His Own (no Brasil, Só Resta Uma Lágrima) e The Heiress (em Portugal, A Herdeira, no Brasil, Tarde Demais). E foi recompensada pelo seu desempenho em The Snake Pit (no Brasil A Cova da Serpente) de 1948 com mais uma nomeação para o Oscar. Este foi um dos primeiros filmes a mostrar o ponto de vista da sociedade de uma pessoa que sofre de uma doença mental.
Olivia apareceu esporadicamente nos filmes após a década de 1950. Ela recusou o papel de Blanche DuBois em A Streetcar named Desire (Em Portugal, Um Eléctrico chamado Desejo, no Brasil, Uma Rua Chamada Pecado), personagem cujo desempenho traria a Vivien Leigh um Oscar de Melhor Actriz, citando a natureza da personagem como a maior razão para ela ter feito isso.
Em 1964 substituiu Joan Crawford em Hush... Hush... Sweet Charlotte, contracenando pela última vez com Bette Davis de quem ficara amiga durante os seus anos na Warner.
Olivia actuou até a década de 1980, sobretudo em televisão nos últimos anos, mas nunca recebeu a mesma atenção que chegou a receber do público na década de 1940.
Em 2006, numa sessão de um ciclo a si dedicado, afirmou que estava a preparar uma autobiografia.
- Irmã da também atriz Joan Fontaine.
- Recebeu 4 indicações ao Oscar de Melhor Atriz, por "A Porta de Ouro" (1941), "Só Resta uma Lágrima" (1946), "Na Cova das Serpentes" (1948) e "Tarde Demais" (1949). Venceu por "Só resta uma Lágrima" e "Tarde Demais".
- Recebeu uma indicação ao Oscar de Melhor Atriz Coadjvuante, por "...E o Vento Levou" (1939).
- Ganhou o Globo de Ouro de Melhor Atriz, por "Tarde Demais" (1949).
- Recebeu uma indicação ao Globo de Ouro de Melhor Atriz - Drama, por "Eu Te Matarei, Querida" (1952).
- Ganhou o Globo de Ouro de Melhor Atriz Coadjuvante - Mini-série/Série/Filme para TV, por "Anastacia" (1986).
- Ganhou o Volpi Cup de Melhor Atriz no Festival de Veneza, por "Na Cova das Serpentes" (1948).
- Ficou famosa por sua vitória na justiça contra a Warner Bros, cancelando a possibilidade dos estúdios incluírem períodos de suspensão nos contratos e dando mais liberdade aos atores para escolher seus projetos.
- Em 1965 se tornou a primeira mulher a presidir o júri do Festival de Cannes.
- É dona do recorde do número de pessoas citadas no agradecimento feito após ganhar o Oscar. Foram 27 ao todo, citadas ao ganhar seu primeiro Oscar.
- Possui uma estrela na Calçada da Fama, localizada em 6764 Hollywood Boulevard.