В далеком прошлом у Альтера к северо-западу от Гента, в Восточной Фландрии, стояла средневековая крепость, опустошенная в 1453 году. Следующие полвека крепость попросту разрушалась, превращаясь в руины, пока на эту груду развалин в 1597 году не прибыла с севера Франции дворянская семья. Очень сильно нуждавшееся в реставрации поместье перестроили в красивый замок с четырьмя башнями в стиле барокко. В XIX веке замок Пок полностью перешел в собственность дворян. А с 1955 года он принадлежит Альтеру, который постепенно разросся, и замок вошел в черту города.