Пока не понял как победить проблему, с тем что файл закачиваемый на сервер не правильно заливается (точнее имя не правильно генерируется), и получается, что на сервере он лежит с именем вида %d0%bf%d1....%.расширение. Все это наводит на мысли что точили плохо этот WordPress. Форкать движок и править код совершенно не хочется, хотя в принципе можно.
Начало было положено общей оптимизацей сервера (сервер VPS или как его еще называют VDS, но в принципе применимо и для обычного сервера).
В принципе никаких особых мер по оптимизации отдачи контента пока не производилось, используется относительно стандартный вариант Apache 2. Ставить кеширующий фронтэнд пока не вижу особого смысла.
Ну и конечно оптимизацию PHP тоже нельзя обходить стороной установа было произведена нехитрой коммандой, практически в автоматическом режиме:
yum install php-eaccelerator
И настроен на скромные 16Mb кеша, 10 из которых до сих пор свободно, хотя кешировано более 95 файлов.
Теперь собственно оптимизация WordPress.
Как у любой уважающей себя системы управления содержимым WordPress достаточно давно обзавелся системой файлового кеша. Называется это все WP-Cache 2.