পাবনার শাহ্জাদপুর তিন তৌজির অর্ন্তগত ডিহি পরগণাটি ছিলো নাটোরের রাণী ভবানীর জমিদারীর অংশ। সম্ভবত ১৮৪০ সালে এই জমিদারীটি নিলামে উঠলে রবীন্দ্রনাথ ঠাকুরের পিতামহ প্রিন্স দ্বারকানাথ ঠাকুর মাত্র ১৩ টাকা ১০ আনায় তা কিনে নেন। জামিদারী কিনে নেয়ার পর কাছারিবাড়িটিও ঠাকুর পরিবারের হস্তগত হয়। এর আগে এই বাড়ির মালিক ছিলো নীলকর সাহেবরা। ১৮৯০ থেকে ১৮৯৭ সাল পর্যন্ত রবীন্দ্রনাথ ঠাকুর শাহ্জাদপুরের জমিদারী দেখার জন্য মাঝে মাঝে আসতেন এবং কিছুদিনের জন্য অস্থায়ীভাবে বাস করতেন। তিনি এ সময় স্থায়ীভাবে থাকতেন কুষ্টিয়ার শিলাইদহে। সম্ভবত এ কারণেই কুষ্টিয়ার বাড়িটির নাম ছিলো কুঠিবাড়ি আর শাহ্জাদপুরের বাড়িটির নাম ছিলো কাছারিবাড়ি।
শাহ্জাদপুরের কাছাড়িবাড়িটি ইন্দো-ইউরোপীয় স্থাপত্যশৈলীতে নির্মিত একটি দ্বিতল ভবন। ভবনটির দৈর্ঘ্য প্রায় ২৭ মিটার আর প্রস্থ প্রায় ১১ মিটার। ভবনটির প্রতিটি তলায় বিভিন্ন আকারের প্রায় ৭টি কক্ষ রয়েছে। ১৯৬৯ সালে এই বাড়িটি প্রতœতত্ত¡ অধিদপ্তর সংরক্ষিত পুরাকীর্তি হিসেবে ঘোষণা করে। বর্তমানে প্রতিদিন অনেক দর্শক এই বাড়িটি পরিদর্শনে এলেও সর্বত্র একধরনের দৈন্যতা বিরাজমান। রবীন্দ্রনাথের ব্যবহৃত অনেক কিছ্ইু এখানে রেপ্লিকা হিসেবে রাখা হয়েছে। তাঁর নিজের হাতের আঁকা ছবিগুলোর সবই প্রায় ফটোকপি করে দেয়ালে ঝুলিয়ে রাখা হয়েছে। ফলে আগত দর্শনার্থীদের হতাশা নিয়েই যেতে হয়।