Il est fait état d’un seigneur de Flêtre, Gilbodon de Flêtre, qui accompagna Robert II de Jérusalem, Comte de Flandre, lors la première croisade de 1096.
Cette terre était la possession sans doute depuis le XIIIe siècle de la famille Van Houtte (Du Bois).
Johan Van Houtte en fut l'un des premiers seigneurs. Il décède en 1398.
Antoine Van Houtte et son épouse Barbe Van Belle (De Bailleul) en furent les seigneurs les plus connus, et l’on peut admirer dans la tour du clocher de l’église actuelle, leurs gisants (les sarcophages ont été cassés à la révolution).
Début XVIe siècle, la nièce d'Antoine Van Houtte, Barbe de Sars, devint héritière et dame de Flêtre et de Strazeele. Par son mariage avec Jean de Wignacourt en 1532, elle apporta la terre de Flêtre en dot.
Cette famille de Wignacourt, comptant plusieurs branches, est mentionnée à l'époque de Saint-Louis où un de Wignacourt accompagna le roi en Terre Sainte avant d'y être égorgé.
La terre de Flêtre fut ensuite érigée en Comté ou Marquisat ?, le 25 septembre 1656 en faveur de Jacques de Wignacourt pour services rendus lors de batailles auprès de Philippe IV d’Espagne.
Balthasar-Pierre Félix de Wignacourt, avant-dernier comte de Flêtre perdit sa femme en 1747. En 1756, il se disposait à prendre pour épouse sa servante Catherine. Son gendre et le reste de la famille eurent recours à la manière forte pour parer un tel coup porté à l'honneur de la famille : la jeune fille fut enlevée et mise dans un couvent et le comte dut prendre les arrêts de rigueur à Ypres. Le fils de ce dernier, Balthasar-Philippe-Emmanuel-Charles, fut le dernier comte de Flêtre. Il dissipa une grande partie de sa fortune. Mais le comte de Lannoy, son beau-frère le fit interdire par la Cour de Cassel et placer sous tutelle en 1786.
À la révolution le comte quitta son château pour se réfugier chez une de ses locataires et y mourut en 1810 avec une fortune d’environ trois mille francs.