如果持有澳洲难民签证，可以购买房产，但必须符合澳洲国家移民局对外国人购房的限制和要求。根据目前的法律规定，外国人购置澳大利亚的房屋必须申请外国投资审批委员会（FIRB）的批准，并且只能购买新建或未被居住的房产。

另外，购房首付款也需要从澳洲境内的银行账户中支付，且需要遵守土地和房屋方面的相关法律法规。所以，作为澳洲难民签证持有人，可以买房子，但必须按照相关法规要求来办理。