وودی هارلسون متولد شهر میدلند (در ایالت تگزاس) است. پدرش چارلز هارلسون، آدمکش و مجرم زندانی بود که در نهایت در مدت زمان حبس درگذشت. پدر وودی در سال ۱۹۶۴ از همسرش طلاق گرفت. وودی دو برادر دیگر به نامهای برت و جوردن نیز دارد.
در سال ۱۹۷۳ وودی به شهر اجدادی مادرش، لبانون میرود و دوران کودکی و نوجوانی خود را در آنجا میگذراند. بعد از اتمام دوران دبیرستان در همین شهر، مشغول به تحصیل در کالج هانوفر میشود. در نهایت با مدرک کارشناسی در رشته هنر و هنرهای نمایشی و انگلیسی از این دانشکده فارغالتحصیل میگردد.