নেলসন ম্যান্ডেলা থেম্বু রাজবংশের ক্যাডেট শাখায় জন্মগ্রহণ করেন। থেম্বু রাজবংশ দক্ষিণ আফ্রিকার কেপ প্রদেশের ট্রান্সকেই অঞ্চলের শাসক। তাঁর জন্ম হয় ট্রান্সকেই এর রাজধানী উমতাতার নিকটবর্তী ম্‌ভেজো গ্রামে। তাঁর প্রপিতামহ ছিলেন নগুবেংচুকা (মৃত্যু ১৮৩২), যিনি ছিলেন থেম্বু জাতিগোষ্ঠীর ইনকোসি এনখুলু অর্থাৎ রাজা। এই রাজার পুত্র ম্যান্ডেলা হলেন নেলসন ম্যান্ডেলার পিতামহ। নেলসনের বংশগত নাম ম্যান্ডেলাই এই পিতামহ থেকেই পাওয়া। তবে নেলসনের পিতামহী ইক্সহিবা গোত্রের হওয়ায় রীতি অনুযায়ী তাঁর শাখার কেউ থেম্বু রাজবংশে আরোহণ করার অধিকার রাখেন না।

ম্যান্ডেলার বাবা গাদলা হেনরি মপাকানইসা ম্‌ভেজো গ্রামের মোড়ল হিসাবে দায়িত্ব পালন করেন। তবে ঔপনিবেশিক শাসকদের বিরাগভাজন হবার পরে তারা ম্যান্ডেলার পিতাকে পদচ্যুত করে। তিনি তখন তার পরিবারসহ কুনু গ্রামে বসতি স্থাপন করেন। তবে তা সত্ত্বেও ম্‌পাকানইসা ইনকোসিদের প্রিভি কাউন্সিলের সদস্য ছিলেন এবং থেম্বুর শাসনকর্তা হিসাবে জোঙ্গিন্তাবা দালিন্দ্যেবোকে নির্বাচিত করায় ভূমিকা রাখেন। ম্‌পাকানইসার মৃত্যুর পর দালিন্দ্যেবো ম্যান্ডেলাকে পোষ্যপূত্র হিসাবে গ্রহণ করেন।

ম্যান্ডেলার পিতা ম্‌পাকানইসার ছিলো চারজন স্ত্রী, ও সর্বমোট ১৩টি সন্তান (৪ পুত্র, ৯ কন্যা)। ম্যান্ডেলার মা ছিলেন ম্‌পাকানইসার ৩য় স্ত্রী নোসেকেনি ফ্যানি। ফ্যানি ছিলেন ম্‌পেম্ভু হোসা গোত্রের ন্‌কেদামার কন্যা। নানার বাড়িতেই ম্যান্ডেলার শৈশব কাটে। তাঁর ডাক নাম "রোলিহ্লাহ্লা"র অর্থ হলো "গাছের ডাল ভাঙে যে", অর্থাৎ দুষ্ট ছেলে।