جکسون در واشینگتن، دی.سی. متولد شد. مادرش الیزابت هریت (مونتگومری) نام داشت و پدرش روی هنری جکسون بود. او به عنوان تنها فرزند خانواده در چاتانوگا، تنسی بزرگ شد. پدرش به دور از خانواده در کانزاس‌سیتی، میزوری زندگی می‌کرد و بعداً بر اثر الکلیسم درگذشت. جکسون در طول زندگی خود تنها دو بار پدر خود را ملاقات کرد. وی در کنار پدربزرگ و مادربزرگ مادری‌اش، ادگار و پرل مونتگومری، و تحت سرپرستی مادرش بزرگ شد که مدتی کارگر یک کارخانه بود و بعد مأمور خرید یک مؤسسهٔ روانشناسی شد.
جکسون در مدارس زیادی که جدایی نژادی در آن‌ها برقرار بود، تحصیل کرد و از دبیرستان ریورساید در چاتانوگا فارغ‌التحصیل شد. در میان سال‌های سوم تا دوازدهم تحصیل، در ارکستر مدرسه سازهای فرنچ هورن و ترومپت و همچنین فلوت و پیکولو می‌نواخت. جکسون در دوران کودکی با مشکل لکنت زبان مواجه بود. با وجود اینکه استفادهٔ مداوم و هرروزه از تکیه کلام «مادربه‌خطا» ، چنان‌که خودش می‌گوید، به او در غلبه بر لکنت کمک کرده‌است، اما همچنان در برخی مواقع لکنت دارد.
او که در ابتدا قصد مدرک گرفتن در رشتهٔ زیست‌شناسی دریایی را داشت، به کالج مورهاوس در آتلانتا، جورجیا پیوست. اما پس از آن که برای کسب امتیاز بیشتر در یکی از کلاس‌ها، به یک گروه بازیگری محلی پیوست، به بازیگری علاقه‌مند شد و مسیر خود را تغییر داد. جکسون پیش از فارغ‌التحصیل شدن در سال ۱۹۷۲، «تئاتر جاست آس» را به صورت شراکتی پایه‌گذاری کرد.