Vil tippe det svake punktet her er php-koden og databasen din.
Har du gjort noen grep for å optimalisere de?

Det kan jo såklart være uheldige konfigurasjoner i tillegg, men om dere ikke har gjort stort utover standard er det neppe tilfellet.

En moderne flerkjerneprosessor burde ikke ha store problemer med å klare noen titalls requests i sekundet.

Varnish er fint og vel, men det hjelper null på dårlig PHP performance. Det er mange tilfeller hvor man ikke kan servere cachet side, og da er det ganske kjipt og ytelsen er dårlig, spesielt hvis du har dårlig hit-ratio. Ytelsen din vil også yte eksponentielt hvis backends yter godt.

I korte trekk, sjekk koden din med en profiler og installer en form for opcode caching, slik som APC eller XCache. Det vil gi en ganske drastisk ytelsesforbedring. Jeg foretrekker APC, uten å ha noe grunnlag for det, utover at det ... fungerer...

Hvis applikasjonen din har støtte for det kan du spare ganske mange databasekall ved å bruke memcache, som blir et lag mellom databasen og applikasjonen, men det lever i minnet. Merk at memcache kommer i to versjoner, en som standalone og en som nettverks daemon, har man flere webservere er det vanlig å bruke delt cache.

Du skal ha en bra aktiv side for at en normalt godt speccet server skal knele på grunn av trykk, og 10-20 req/s er ikke akkurat enormt, Antar forøvrig at det er under peak load. Hvilken applikasjon og hvilke parametere brukte dere til loadtest? Når vi snakker responstid, snakker vi ICMP ping eller prosessering av PHP?

(TL; DR: Fiks ytelsesproblemet i applikasjonen, sett en boks med varnish (versjon 3 for streaming, kan være kjekt hvis dere har et stort video-arkiv), den fungerer som en lastbalanserer og cache for statisk innhold. Webserverene bør settes opp slik at de er stateless og databasen skilles ut slik at man har kontroll på bruken; hvis man har litt vel optimistisk Apache2-settings kan det fort gjøre at MySQL blir uresponsiv fordi det ikke er mer tilgjengelig minne, etc...)

Det du kaller "statisk lastbalansering" er forøvrig galskap, for å fjerne en server fra listen må du vente til TTL på DNS, da er det bedre å bruke Varnish til å gjøre health checks og eventuelt ta de ut av listen hvis de er uresponsive eller kaster ut 500-errors o.l.