在冬天，楼上的太阳能热水器中的水不需要全部放掉。

虽然冬天气温较低，但是太阳能热水器仍然需要保持一定的水量，以避免水管冻裂。如果太阳能热水器中没有水，水管中的水可能会结冰，导致管道冻裂，太阳能热水器漏水。

另外，如果太阳能热水器中没有水，当阳光充足时，太阳能真空管会受到空晒，导致管内温度过高，可能会发生真空管被晒爆的情况，也会损伤太阳能性能，减少太阳能使用寿命。

因此，为了保护太阳能热水器，避免水管冻裂和减少太阳能使用寿命，建议在冬天保持太阳能热水器中有一定的水量。