Usa compresión gzip, elimina plugins innecesario... esto lo puedes hacer en tu servidor para compresion general o en tu archivo .htaccess para local tiene que tener instalado el modulo mod_gzip, Si tienes tu wordpress en nginx lo puedes hacer en tu bloque de servidor virtual.
<ifModule mod_gzip.c>
mod_gzip_on Yes
mod_gzip_dechunk Yes
mod_gzip_item_include file .(html?|txt|css|js|php|pl)$
mod_gzip_item_include handler ^cgi-script$
mod_gzip_item_include mime ^text/.*
mod_gzip_item_include mime ^application/x-javascript.*
mod_gzip_item_exclude mime ^image/.*
mod_gzip_item_exclude rspheader ^Content-Encoding:.*gzip.*
</ifModule>