در پی راه افتادن کمپینی برای برکناری مدیرکل میراث فرهنگی تهران، وی سمن‌ها (سازمان‌های مردم‌نهاد) یا ان‌جی‌اوهای حامی میراث فرهنگی را به تبانی با مالکان برای تخریب خانه‌های تاریخی پایتخت متهم کرد. کمپین «تغییر مدیرکل میراث فرهنگی استان تهران» به دلیل اهمال‌های این اداره در جلوگیری از تخریب آثار تاریخی به راه افتاده است.
در حالی که حامیان میراث فرهنگی و تاریخی شهر تهران، به تازگی کمپین تغییر مدیرکل میراث فرهنگی استان تهران را به‌دلیل «اهمال‌های میراث فرهنگی استان تهران» راه انداخته‌اند، رجبعلی خسروآبادی، مدیرکل میراث فرهنگی استان تهران دیروز برخی سازمان‌های مردم‌نهاد (سمن) میراث فرهنگی را به شناسایی بناهای تاریخی و تبانی برای خارج کردن بناهای تاریخی از فهرست آثار ملی و تخریب آنها متهم کرد.
وی گفته که با اینکه مدارکی در تایید این ادعا ندارد ولی برخی مالکین به آنها گفته‌اند که «برخی به آنها مراجعه می‌کنند و این پیشنهادها را می‌دهند که ابنیه شما را از ثبت خارج می‌کنیم و از واجد ارزش بودن می‌اندازیم. ما هم به این جمع‌بندی رسیدیم که این هشدار را به مالکان بدهیم.»
خسروآبادی در واکنش به انتقادهای صورت گرفته، گفته است: «برخی افراد خیلی چیزها را نمی‌بینند.»
وی تغییرات در جداره‌سازی خیابان ناصرخسرو با میدان بهارستان و جلوگیری از صدور برخی مجوزها را از دستاوردهای مدیریت خود دانسته و گفته که «متأسفانه می‌بینیم مجوزهایی که از قبل صادر شده بود دوباره دارد کارسازی می‌شود و با حقوق مکتسبه مطرح می‌شود که افرادی هم این امور را تشدید می‌کنند و به جای اینکه مثبت‌نگر باشند در حال کنش و واکنش هستند تا نوعی معامله‌گری در حوزه ابنیه تاریخی راه بیندازند.»
با این وجود سجاد عسگری، دبیر کمیته مردم‌نهاد پیگیری حفاظت از خانه‌های تاریخی تهران، اتهامات وارد شده را خنده‌دار و فرار رو به جلو خوانده و گفته است: «اتفاقا در سال‌های اخیر اداره میراث فرهنگی استان تهران بیشترین کاسبکاری را در حوزه میراث فرهنگی داشته است.»
وی نمونه بارز این کاسبکاری‌ها را تخریب خانه تاریخی کوچه صوفیانی در پامنار تهران دانست که کارشناس اداره کل میراث فرهنگی آن را بی‌ارزش جلوه داده و در نهایت منجر به تخریب و بنا شدن یک ساختمان جدید به جای آن شده است.
عسگری گم شدن نامه توقف تخریب سرای دلگشا در بخش حقوقی سازمان میراث فرهنگی و خروج مخفیانه ویلای نمازی از ثبت ملی را از دیگر نمونه‌های «کاسبکاری» میراث فرهنگی تهران خواند.
وی همچنین اضافه کرد: «مدیرکل میراث فرهنگی استان تهران حتی خبر نداشت که ویلای نمازی یک اثر ثبت ملی شده، است. در ماجرای تعرض به حریم خانه امین‌الضرب هم خاندان امین‌الضرب بودند که با پیگیری سمن‌های میراث فرهنگی آمدند و نگذاشتند که حریم این اثر تاریخی مخدوش شود.»
عسگری با اعلام اینکه در موضوع تخریب خانه عامری‌ها در میدان فردوسی تهران خروج این اثر از ثبت اضطراری در زمان مدیریت خسروآبادی ممکن شد افزود: «همین سمن‌ها بودند که ۳ سال جلوی تخریب خانه عامری‌ها را گرفته بودند.»
