Mejora el servidor de wordpress con el plugin WP Super Caché
He probado varios de los plugins que se puedan usar para caché y me decanté por Super Caché.
El motivo es porque es bastante ligero comparado con otros. Esto es una buena opción para no usar un plugin para aligerar la web y éste la acelera por un lado y la ralentiza por otro.
Os recomiendo WP Super Caché.
Ver video
Usar la opción del cdn
Un CDN es una red de entrega de contenido que entrega tus archivos por ti.
Los archivos que suelen pesar más son las imágenes, los scripts de javascript, los CSS ,videos etc... Así que usando éste tipo de servicios, nuestros archivos se copian por todo el mundo y se sirven del servidor más cercano al visitante.