بدین‌سان، در سالهای سرنوشت‌ساز صعود و اقتدار ناپلئون بناپارت در غرب و ستیز تیپو سلطان و زمان‌شاه افغان با استعمار بریتانیا در شرق، زمام امور دولت ایران به‌دست ابراهیم‌خان اعتمادالدوله بود. با این وجود، پس از پایان مأموریت کاپیتان جان ملکم در ایران، به‌ناگاه ابراهیم‌خان اعتمادالدوله مورد غضب فتحعلی‌شاه قاجار قرار گرفت و در اول ذیحجه ۱۲۱۵ق./ ۱۵ آوریل ۱۸۰۱م. به‌دستور شاه قلع و قمع این خانواده آغاز شد.
ابراهیم‌خان را کور کرده، زبانش را بریدند و به‌همراه خانواده‌اش به قزوین و سپس طالقان تبعید نمودند و در آنجا به قتل رسانیدند. بسیاری از بستگان او نیز چنین سرنوشتی یافتند.
افول خاندان قوام شیرازی موقّت بود. یک دهه بعد، زمانی که روابط ایران و بریتانیا بهبود یافت، فتحعلی‌شاه بار دیگر آنان را مورد التفات قرار داد و بازماندگان حاجی ابراهیم‌خان را در مناصب عالی حکومتی گمارد. ازجمله میرزا علی‌اکبرخان، پسر چهارم ابراهیم‌خان، بیگلربیگی فارس شد و به قوام‌الملک ملقّب شد و از آن پس این لقب در خاندان فوق موروثی گردید. قوام‌الملک اول در پنج سال پایانی عمر خود نایب‌التولیه آستان قدس رضوی بود.
خاندان قوام شیرازی تا انقلاب اسلامی، از مقتدرترین و ثروتمندترین خاندان‌های حکومتگر ایران بودند. پایگاه اقتدار آنان در شهر شیراز بود و املاک پهناوری را در سراسر ایران در تملّک داشتند. ریاست آنان بر ایلات خمسه فارس، به ایشان قدرت نظامی و سیاسی فراوانی بخشید که در زمان جنگ اول جهانی از آن به سود استعمار بریتانیا بهره بردند. پنجمین و آخرین فرد از این خاندان که به قوام‌الملک ملقب شد ابراهیم قوام است که از متنفذترین شخصیت‌های دوران پهلوی به‌شمار می‌رفت. او پدر زن اسدالله علم است.
نقش ابراهیم‌خان اعتمادالدوله در تحولات دوران وزارتش و بهویژه پیوند او با تکاپوهای الیگارشی یهودی و کمپانی هند شرقی بریتانیا در ایران و منطقه تاکنون مورد پژوهش قرار نگرفته است. در منابع فارسی نقش این خاندان یا کاملاً مسکوت مانده یا تلاش شده تا از آنان چهره‌ای مثبت ارائه شود.