窗户玻璃腻子粉全掉了的解决办法如下：

铲除脱落层，重新选择腻子 。铲除脱落层，然后重新刮腻子。腻子要选择质量好的产品，同时在搅拌的时候要将腻子搅拌均匀。

加固基层 。如果墙面基层不牢固，可将原墙体铲除，重新使用水泥和界面剂进行封闭处理，待其干燥后再刮腻子。

解决墙面潮湿问题 。如果是因为墙体潮湿而导致腻子层脱落，那么应对墙体进行处理，然后再刮腻子。

此外，还有涂刷墙面的底漆和面漆等方法。具体选择哪种方法，需根据实际情况进行判断。如不能自行处理，可请专业施工人员进行操作。