১৯২৯ সালের ৯ মার্চ জিল্লুর রহমান কিশোরগঞ্জ জেলার ভৈরবে জন্মগ্রহণ করেন। জিল্লুর রহমান ঢাকা বিশ্ববিদ্যালয় হতে ইতিহাস বিষয়ে স্নাতকোত্তর ডিগ্রি লাভ করেন। একই বিশ্ববিদ্যালয় হতে তিনি আইন বিষয়ে স্নাতক ডিগ্রি লাভ করেন। তাঁর স্ত্রী আইভি রহমানও বাংলাদেশ আওয়ামী লীগের একজন রাজনীতিবিদ ছিলেন। ২০০৪ সালের ২১ আগস্ট রাজধানী ঢাকার বঙ্গবন্ধু এভিনিউয়ে আওয়ামী লীগের সমাবেশে গ্রেনেড হামলায় জিল্লুর রহমান তাঁর সহধর্মিনী ও মহিলা আওয়ামী লীগের তৎকালীন সভানেত্রী আইভি রহমানকে হারান।পারিবারিক জীবনে তিনি বর্তমান সংসদ সদস্য ও বাংলাদেশ ক্রিকেট বোর্ডের সভাপতি নাজমুল হাসান পাপন নামে এক পুত্র এবং তানিয়া ও ময়না নামে দুই কন্যা সন্তানের জনক ছিলেন তিনি।

১৯৭০ সালে তিনি পাকিস্তান জাতীয় পরিষদের সদস্য এমএনএ নির্বাচিত হন তিনি । কিশোরগঞ্জ আওয়ামী লীগের প্রতিষ্ঠাতা সভাপতি ছাড়াও জিল্লুর রহমান আওয়ামী লীগের সাধারণ সম্পাদক ও সভাপতিমণ্ডলীর সদস্যসহ বিভিন্ন সময়ে দলের গুরুত্বপূর্ণ দায়িত্বেও ছিলেন । ২০০৮ সালের নবম জাতীয় সংসদ নির্বাচনসহ ৭৩,৮৬, ৯৬ এবং ২০০১ সালের জাতীয় সংসদ নির্বাচনে কিশোরগঞ্জ ৬ সংসদীয় আসন ১৬৭ কুলিয়ারচর-ভৈরব থেকে জিল্লুর রহমান সংসদ সদস্য নির্বাচিত হন। ৯৬-এর আওয়ামী লীগ সরকারের শাসনামলে তিনি এলজিআরডি মন্ত্রী হিসেবে দায়িত্ব পালন করেন। ২০০৬ সালের ১১ জানুয়ারি ফখরুদ্দীন আহমদের তত্ত্বাবধায়ক সরকার দায়িত্ব নিলে যখন শেখ হাসিনা গ্রেফতার হন তারপর থেকেই জিল্লুর রহমান বাংলাদেশ আওয়ামী লীগের হাল ধরেছিলেন।


২০০৮ সালের নবম জাতীয় সংসদ নির্বাচনে শেখ হাসিনার নেতৃত্বাধীন ১৪-দলীয় মহাজোট বিপুল ভোটে জয়লাভ করে। নবম জাতীয় সংসদে জিল্লুর রহমান সংসদ উপনেতা নির্বাচিত হয়েছিলেন। পরবর্তীতে বাংলাদেশ আওয়ামী লীগ তাঁকে রাষ্ট্রপতি নির্বাচনে প্রার্থী হিসেবে মনোনয়ন দেন। তিনি বিনা প্রতিদ্বন্দ্বিতায় ২০০৯ সালে বাংলাদেশের ১৯-তম রাষ্ট্রপতি হিসেবে নির্বাচিত হন ও ১২ ফেব্রুয়ারি ২০০৯ শপথ গ্রহণের মাধ্যমে দায়িত্ব গ্রহণ করেন। বাংলাদেশের ১৭-তম রাষ্ট্রপতি ইয়াজউদ্দিন আহম্মেদের মেয়াদ ছিল ২০০৭ সালের ৫ সেপ্টেম্বর পর্যন্ত। নবম সংসদ নির্বাচন বিলম্বিত হওয়ায় তার মেয়াদও দীর্ঘায়িত হয়।

দীর্ঘদিন রোগে আক্রান্ত হয়ে ১০ মার্চ, ২০১৩ তারিখে সিঙ্গাপুরের মাউন্ট এলিজাবেথ হাসপাতালে কিডনি ও মূত্রপ্রদাহে আক্রান্তজনিত কারণে উন্নত চিকিৎসার জন্য ভর্তি হন জিল্লুর রহমান। এর পূর্বদিন সম্মিলিত সামরিক হাসপাতালে ফুসফুসের সংক্রমণ ব্যাধিতে আক্রান্ত হয়ে চিকিৎসাধীন ছিলেন। অতঃপর ২০ মার্চ, ২০১৩ তারিখে তাঁর দেহাবসান ঘটে। সিঙ্গাপুরে নিযুক্ত বাংলাদেশের হাইকমিশনার মাহবুব উজ জামান স্থানীয় সময় ৬:৪৭ ঘটিকায় জিল্লুর রহমান মৃত্যুবরণ করেছেন বলে সংবাদ সম্মেলনে জানান। ঐ সময় তাঁর সন্তানেরা সেখানে ছিলেন। তাঁর মৃত্যুর পূর্বেই ১৪ মার্চ, ২০১৩ তারিখে জাতীয় সংসদের স্পিকার আব্দুল হামিদ ভারপ্রাপ্ত রাষ্ট্রপতির দায়িত্ব পালন করছেন। জিল্লুর রহমানের মৃত্যুতে বাংলাদেশে তিনদিনের রাষ্ট্রীয় শোক পালন করা হয়েছিল।