ঊনিশ শতকের ষাট-সত্তর দশকে ঢাকার নবাব পরিবার বর্তমান ‘দিলখুশা’ এলাকায় তৈরি করেছিলেন বেশ কয়েকটি অট্টালিকা ও একটি সুদৃশ্য বাগানবাড়ি। এটা ছিল তখন পুরানা পল্টনের অংশ আর পূর্বদিকে ছিল পল্লী জনপদ। পুরানা পল্টন এলাকাজুড়ে এক সময় গড়ে ওঠেছিল ইস্ট ইন্ডিয়া কোম্পানির সেনানিবাস। পাশেই ছিল জলাভূমি। বালু নদী থেকে ওঠে একটি খাল তখন কমলাপুরের মধ্যদিয়ে মতিঝিল হয়ে সেগুনবাগিচা পর্যন্ত বিস্তৃত ছিল। নবাবেরা এ খালটির একটি অংশকে ঝিল-এ পরিণত করে নামকরণ করেছিলেন ‘মতিঝিল’। অন্যদিকে বাগানের অংশকে নাম দিয়েছিলেন ‘দিলখুশা’, যার অর্থ ‘প্রফুল্ল মন’।

ইতিহাস থেকে জানা যায়, এখানে এক সময় ছিল মীর জুমলার নৌ-বহরের দারোগা মীর মুকিমের বাসভবন। পরে এটি পরিণত হয়েছিল মির্জা মুহম্মদের রং-মহলে। পরবর্তীতে কোন এক সময় চলে যায় ইংরেজদের হাতে। ১৮৮৬ সালে ই. এফ. স্মীথ নামক একজন ইউরোপিয়ানের কাছ থেকে নবাব আহসান উল্লাহ কিনে নেন বাগানবাড়ির একটি অংশ। এ সময় সরকারের কাছ থেকে আরো প্রায় ৮০ বিঘা জমি লিজ নিয়ে বাগানবাড়িটি সম্প্রসারণ করা হয়। তখন ঢাকার লোকেরা এটিকে জানতো ‘কোম্পানির বাগান’ নামে। এ বাগানের একপাশে তৈরি হয়েছিল দ্বিতল একটি সুরম্য অট্টালিকা। ইউরোপীয় স্থাপত্য রীতিতে নির্মিত এ ভবনটি ছিল খুবই দৃষ্টিনন্দন। ঢাকার সমসাময়িক পত্রিকাতেও উদ্যান তৈরির ব্যাপারে একটি সংবাদ প্রকাশিত হয়েছিল। ‘ঢাকা প্রকাশ’ ১৮৭৩ সালের ২৩ মার্চ তারিখে ‘দেলখোস’ শিরোনামে লিখে যে, ‘পুরানা পল্টন নামক স্থানে আমাদের শ্রীযুক্ত খাজা আহসান উল্লাহ সাহেব মহোদয় সুরম্য “দেলখোস” উদ্যান প্রস্তুত করিয়া তন্মধ্যে একটি জলাশয় খনন করিতেছেন। উক্ত গ্রামবাসী লোকদিগের করুণ প্রার্থনায় দয়াদ্রচিত্ত হইয়া উক্ত খোদিত জলাশয়ের মৃত্তিকা দ্বারা ব্রাহ্মণ ঘাটের চতুর্দিগ্বর্তী নিম্নভূমি ভরিয়া দিতে তিনি স্বীকার করিয়াছেন।’

দিলখুশার বাগান সংলগ্ন প্রাসাদে নবাব আহসান উল্লাহ তার জীবনের অধিকাংশ সময় কাটিয়েছেন। পরে দান করে দেন মেয়ে মেহেরবানুকে। জামাতা খাজা মুহম্মদ আজম ও মেহেরবানু এ বাড়িতেই থাকতেন। ১৯০৫ সালে ঢাকায় পূর্ববঙ্গ ও আসাম প্রদেশের রাজধানী স্থাপিত হলে সরকার দিলখুশা বাগানের দক্ষিণ অংশে সরকারি অফিস নির্মাণের জন্য নবাবদের কাছ থেকে লিজ নেয়। সেখানেই গড়ে ওঠেছিল এখনকার ‘বঙ্গভবন’।

বাগানবাড়ি সংলগ্ন ‘দিলখুশা প্রাসাদ’-এর অনেকগুলো চিত্র ১৯০৪ সালে ধারণ করেছিলেন কলকাতার কমার্শিয়াল ফটোগ্রাফার ফ্রিচকাপ। তিনি নবাব আহসান উল্লাহর আহবানে ঢাকায় আসেন এবং নবাব পরিবারের অফিসিয়াল ফটোগ্রাফার নিযুক্ত হয়েছিলেন। ১৯০৪ সালের ১৮-১৯ নভেম্বর ঢাকা সফরকালে লর্ড কার্জন নবাব পরিবারের আতিথ্য গ্রহণ করেছিলেন। লর্ড কার্জনের ঢাকা সফরকে স্মরণীয় করে রাখার জন্য ফ্রিচকাপের তোলা ৩০টি ছবি নিয়ে একটি এ্যালবাম তৈরি করা হয়। এ এ্যালবামটি উপহার দেয়া হয়েছিল লর্ড কার্জনকে। এ ছবিগুলো এখন ‘কার্জন কালেকশন’ নামে পরিচিত। প্রাসাদের বর্তমান ছবিটি আরও আগে তোলা।