Salut,
C'est ma femme qui va te répondre :
Bonsoir, je suis clerc de notaire. Pour te répondre précisément, il me faut plus de détails
Quel est l' objet de ta modification ?
Certains Plans d'Occupation des Sols ou plans locaux d'urbanisme (PLU) placent ton bien immobilier dans un secteur particulier (exemple le plus fréquent est le bien situé dans les 500 m d'un monument historique)
Ce genre de secteur établi des règles draconiennes...
Donc il est important de savoir quelle est la modification que tu as souhaitée et qui a été refusée ?
Par exemple certains types de matériaux sont refusés (type PVC) par contre le bois et aluminium sont autorisés (mais plus cher).
Ce qui me lancerait sur cette voie, car ton message parle de fenêtres (et le problème avec les fenêtres c'est le matériau ou les dimensions qui sont réduites en secteurs sauvegardés, près d'un monument historique...)
La surface totale sur les façades de ta maison peuvent aussi être réduits par rapport à un autre secteur.
Si tel est le cas tu ne pourras RIEN FAIRE ! le POS est ROI;
Les POS ou PLU peuvent être très compliqués.
C'est une toute autre histoire si le maire "outre-passe" ses pouvoirs.
Si la DDT n'émet qu'un avis, le maire peut ne pas le suivre, si le POS te permet de faire clairement ce que tu veux c'est clairement un "excès de pourvoir" et le droit administratif sanctionne ce type de comportement.
Par contre ça prend du temps s'il veut jouer au "con".
Sinon tu peux te pointer (mais par contre il faut être sûre de toi) à la mairie et prendre un RDV avec lui et lui dire que s'il n'applique pas le POS tu feras un recours pour excès de pouvoir devant le tribunal administratif (généralement ça marche). Ca marche aussi quand tu le menaces de faire un recours pour excès de pouvoir contre un autre Permis de construire qu'il a visiblement délivré en contravention des règles légales ou d'urbanisme).
Je ne sais pas si dans ta commune tu as pu remarqué des "injustices" vis à vis de la délivrance d'autres PC ?
J'ai eu un client à qui on a refusé un changement de fenêtres pour des fenêtres PVC car il était dans les 500 m d'un monument historique. Ce dernier ne s'est pas démonté, il a vu avec l'architecte des bâtiments de France et l'a menacé d'un recours pour excès de pouvoir car dans le même périmètre un office HLM bien connu de la place avait aux vues de tous des fenêtres PVC...
Bizarrement il a obtenu son autorisation.
Tu peux faire un recours pour excès de pouvoir contre un maire quand il te refuse clairement un PC alors qu'il ne devrait pas, et tu peux le faire contre le PC d'un autre lorsqu'il autorise des travaux qui clairement ne devraient pas être permis.
Je suis redondante (me dit mon homme), pardon je voudrais être sûre d'être comprise (car semblerait-il, je m'emporte facilement dans mon jargon notarial et perds tout le monde en route) 
On peut avoir une dernière explication à ton refus : le POS a été révisé et les règles ont changé. Ou bien le POS est en révision et malheureusement la loi permet à la commune de "geler" les autorisations pendant ce temps...
Espérant t'avoir donné des "munitions" pour ton combat.
S'il n'a vraiment aucune raison de refuser ce sera le combat de celui qui fera pipi le plus loin ! 
Ou celui qui a "la plus grosse" si tu préfères. 
Bon courage.
Si tu as besoin de plus d'infos, je pourrai rechercher plus tard à l'étude et dans les jurisclasseurs.
Bonne soirée
).