W 1345 roku książe Barnim III podpisał w kołbackim klasztorze oficjalny akt nadania ziemi Joannitom. Były to tereny „odzyskane” po krwawo zlikwidowanym zakonie Templariuszy. Choć dziś rzadko się o tym mówi, Joannici od samego początku nie byli mile widzianymi gośćmi. Dobrze prosperujące samodzielne pomorskie miasta o dużej autonomii nie miały zamiaru podporządkować się wpływom obcych zakonników, a już tym bardziej nie życzyły sobie konkurencji w produkcji i handlu. Przykładem był tutaj ostry zatarg pomiędzy mieszczanami z Chojny oraz joannitami z Rurki. Finałem była napaść uzbrojonych mieszczan na słabo bronioną komandorię w 1373 roku. Relacje mówią o spaleniu domu, rozpędzeniu bydła oraz zrabowaniu sprzętów liturgicznych.

Właśnie wtedy miejscowy komendant Wilhelm Hoste rozpoczął gorączkowe starania w celu zbudowania nowej i lepiej przygotowanej do obrony siedziby zakonu. Miał ku temu osobiste powody. Zaniepokojony zatargami z Chojną chciał wnieść skargę do papieża i w tym celu ruszył na wyprawę do Awinionu. Daleko nie ujechał. Już koło Gorzowa został pojmany przez ludzi niejakiego Wedla (był to słynny ród osiadły w Krzywnicy Stargardzkiej i Korytowie koło Choszczna). Nie bacząc na zakonne szaty, komendanta osadzono najpierw w zamku w Różankach koło Gorzowa, potem wleczono konno (!) do Chojny, a na koniec sądzono przed archidiakonem z Lubusza. Od niechybnego końca Wilhelma Hoste uratowała dopiero interwencja papieża, który zagroził oprawcom wieczną klątwą.

Nic dziwnego, że mocno doświadczony Wilhelm Hoste zrobił wszystko, by stare oraz niepewne miejsce szybko opuścić. Cztery lata później, 22 listopada 1377 roku, książęta szczecińscy (zarazem bracia) Świętobor I oraz Bogusław VII spełnili prośby komendanta i pozwolili zakonnikom założyć nowy zamek koło Bań, właśnie w Swobnicy .

Niestety, jak pokazało życie, historia lubi się powtarzać. Podobnie jak w przypadku zatargu załogi Rurki z mieszkańcami Chojny, także w Swobnicy szybko doszło do konfliktu z mieszczanami z Bań. Co prawda, nikt nie zdecydował się na otwarte zaatakowanie nowego zamku (być może pod koniec XIV wieku był dobrze umocniony i taka wyprawa nie miałaby dużych szans), ale wydarzenia poszły w jeszcze gorszym kierunku. 11 listopada 1399 na przedpolach Bań został złapany i zamordowany sam mistrz zakonny Detlaf von Wallmoden. Naoczny świadek zajścia, mocno wystraszony komtur von Rohr, salwował się ucieczką, lecz szybko pojmany, został uwięziony w wieży bańskiego kościoła.

Gdy wieść o zajściu rozeszła się po okolicy, kara dla zbuntowanych mieszczan była bardzo sroga. Oprócz normalnych podatków na Banie nałożono dodatkowy karny podatek, w wysokości 25 guldenów. 7 listopada 1400 roku mieszczanie uroczyście przysięgli również postawić w miejscu morderstwa duży krzyż pokutny. Zniesienie opłat i likwidacja krzyża nastąpiły dopiero po... ponad 150 latach, w 1553 roku! Oczywiście to wydarzenie na długi czas położyło cień pomiędzy zakonnikami a mieszczanami. Na wyrównanie krzywd i zemstę niektórzy cierpliwie czekali kilkadziesiąt lat.