Na windows jsem s Joomlou pracoval jen velmi málo, ale matně si vzpomínám, že v PHP na windows byly nějaké potíže s archívy typu ZIP. Zkuste buď stáhnout upgrade package v jiném formátu (gz nebo bzip2), nebo zkuste instalaci ze složky (tj. rozbalit package např. do /tmp/joomla a v instalátoru pak na záložce instalovat ze složky zadat tuto cestu).
To funguje.
Předpokládám, že na linuxovém serveru tyhle problémy nebudou a tak to dál nebudu na localhostu s windows rešit.
Každopádně děkuji všem!