এটি পাঁচআনি জমিদারবাড়ি নামেও পরিচিত। ১৮৯৫ সালে মহারানী হেমন্ত কুমারী দেবী তাঁর শ্বাশুড়ি মহারানী শরৎ সুন্দরী দেবীর সম্মানে নির্মাণ করেন এই বাড়ি। এই বাড়িকে নিয়ে প্রচলিত নানা গল্প, নানা কাহিনী।
১৮৫৫ সালে জমিদার জগেন্দ্র নারায়ণের বয়স ১৫ বছর। বিয়ে করে ঘরে আনেন শরৎ সুন্দরীকে। শরতের বয়স তখন মাত্র পাঁচ। জগেন্দ্র নারায়ণ ইংরেজ বিদ্বেষী ছিলেন। ছিলেন একরোখা। তবে প্রেমিক ছিলেন খাসা। স্ত্রীকে ভালোবাসতেন। শরতের বয়স যখন বারো আর জগেন্দ্রের একুশ। বড় অসুখ হলো জগেন্দ্রের। ইংরেজরা চিকিৎসা সহযোগিতা দিতে চেয়েছিলো। জগেন্দ্র নিলেন না ইংরেজদের সাহায্য। শরতের নামে লিখে দিলেন সমস্ত সম্পত্তি। তারপর একদিন অসুখের তীব্রতায় মারা গেলেন।
জগেন্দ্র নারায়ণের মৃত্যুর পর কোট-কাচারি করে শরৎ সুন্দরী জমিদারীর দখল নিল। স্বামীর প্রেমের স্মৃতি আগলে পরম বিক্রমে জমিদারী দেখশোন করতে লাগলেন। স্বামীকে ভালোবেসেছিলেন হেতু প্রেম ছিলো হৃদয়ে। মন ছিলো সিক্ত, নরম। তাই তাঁর দান-দাক্ষিণ্যের খ্যাতি ছড়িয়ে পড়লো চারদিকে। শরৎ সুন্দরী হয়ে উঠলেন মহারানী শরৎ সুন্দরী। ধন-সম্পদ, লোক-লস্কর, চাকর-বাকর কোন কিছুর অভাব নেই তার। অভাব ছিলো শুধু ভালোবাসার মানুষের। প্রিয়তম তাঁর কম বয়সে ফেলে রেখে চলে গেলো অচীনপুর। আর এক জীবনের ভর যৌবন বৃথা গেলো শরৎ সুন্দরীর।
একটা সময় মেয়েদের মাতৃত্বভাব জেগে ওঠে। শরতেরও হলো। রজনীকান্ত চক্রবর্তী নামের এক ছেলেকে দত্তক নিয়ে নাম রাখলেন যতীন্দ্র নারায়ণ। কিন্তু যতীন্দ্র নারায়ণ বড় হলে দেখা গেলো স্বভাব-চরিত্র খুব একটা ভালো হয়নি তার। চারদিকে নোংরামি করে বেড়ায়। মাকে না জানিয়েই ঢাকা জেলার ধুলা নিবাসী ভুবনমোহন রায়ের মেয়ে শ্রীমতি হেমন্ত কুমারী দেবীকে বিয়ে করেন।
বিয়ের পরও মতি পাল্টালো না যতীন্দ্রের। অসৎ জীবন যাপনে মারাত্মকভাবে অসুস্থ হয়ে মারা গেল একদিন। বিধবা হলো হেমন্ত কুমারী দেবী। হেমন্তের বয়স তখন আঠারো। জমিদারীর দায়িত্ব পড়লো তাঁর হাতে। কিন্তু প্রকৃত কর্তৃত্ব চলে যায় আসলে পিতা ভুবনমোহন ও মামা ভৈরব চন্দ্রের হাতে। শরৎ সুন্দরী এইসবে বড় বিরক্ত বোধ করেন। সব ছেড়ে তিনি কাশীতে চলে যান। আর সেইখানেই মৃত্যুবরণ করেন।
এরপর অবশ্য কর্তৃত্ব আসে হেমন্ত কুমারীর হাতে। দানশীল হয়ে ওঠেন হেমন্ত কুমারী। তিনিও মহারানী উপাধি পান। কিন্তু শ্বাশুড়িকে দূর করে দেয়ার এক বদনাম রটে যায় তার। রটে যাওয়া বদনাম ঢাকতেই হয়তো শরৎ সুন্দরীর স্মৃতির উদ্দেশ্যে নির্মাণ করেন এই রাজবাড়ি। হেমন্তকুমারী দেবীর এক কন্যা ছিলো। সুরেন্দ্রবালা। বেশি দিন বাঁচেনি। জমিদারী উচ্ছেদের আগেই মারা গিয়েছিলেন হেমন্ত কুমারী।
বাড়িটি নির্মাণ হয় ইন্দো-ইউরোপিয় স্থাপত্যরীতিতে। ভবনের সম্মুখ ভাগের স্তম্ভ, অলংকরণ, কাঠের কাজ, কক্ষের দেয়ালে ও দরজার উপর ফুল ও লতাপাতার চিত্রকর্ম পরিচয় করিয়ে দেয় নিপুণ এক নির্মাণ শৈলীর সাথে। রাজবাড়ির ছাদ সমতল, ছাদে লোহার বিম, কাঠের বর্গা এবং টালি ব্যবহৃত হয়েছে।
রাজবাড়ির আশেপাশে রাজদিঘী আছে মোট ছয়টি। আছে ছয়টি মন্দির। শিব মন্দির, রাধাগোবিন্দ মন্দির, গোপাল মন্দির, গোবিন্দ মন্দির, দোলমঞ্চ ইত্যাদি। শিব মন্দিরটি সবচেয়ে বড়। প্রতিটি মন্দিরের দেয়ালে পোড়ামাটির ফলকের কারুকাজ। এ ছাড়া রানির স্নানের ঘাট, অন্দরমহল মিলিয়ে রাজবাড়ি বিশাল প্রাঙ্গণ শরৎ সুন্দরী ও হেমন্ত কুমারীর স্মৃতি নিয়ে বেঁচে আছে।
