Na een aantal zenuwinzinkingen, vermoedelijk veroorzaakt door overmatig druggebruik, besloot Brian Wilson in 1964 niet meer met de band op tournee te gaan. Hij werd vervangen door Glen Campbell. Brian concentreerde zich op het componeren van nieuwe songs en het werk in de studio. Hierdoor kwam het grensverleggende album "Pet Sounds" tot stand in 1966. Later gaf Paul McCartney toe, dat dit album de Beatles had geïnspireerd voor de aanpak van het album "Sgt. Pepper's Lonely Hearts Club Band".

In 1966 haalde de meest bekende Beach Boys single "Good Vibrations" in veel landen de top van de hitparade. Er volgden nog veel meer hits. Brian Wilson trok zich steeds meer terug uit het openbare leven en leefde op een gegeven ogenblik als een kluizenaar. Meer en meer experimenteerde hij met allerlei drugs. De Beach Boys ging verder zonder Brian, want ook zonder zijn inbreng slaagde de groep er in om hitsingles te maken. In 1974 haalde het verzamelalbum "Endless Summer" de eerste plaats op de Amerikaanse hitlijsten.

In het midden van de jaren tachtig was de Beach Boys een nostalgische groep geworden. Surfer Dennis verdronk in 1983 voor de kust van California. In 1988 overleed Carl Wilson aan kanker. Brian Wilson keerde weer terug in de openbaarheid en produceerde onder meer de albums "Imagination" en "The Wilsons".

The Beach Boys verkochten meer dan 70 miljoen albums.