جیکوب بنجامین جیلنهال در ۱۹ دسامبر ۱۹۸۰ در لس آنجلس، کالیفرنیا به دنیا آمد. پدرش استیون جیلنهال کارگردان و مادرش نائومی فیلم‌نامه‌نویس است. او یک خواهر بازیگر به نام مگی جیلنهال دارد که با او در فیلم دانی دارکو هم‌بازی شد. پدرش تبار سوئدی و انگلیسی دارد و از نوادگان خانوادهٔ اشراف‌زادهٔ جیلنهال است. مادر جیلنهال یک یهودی است که از خانوادهٔ اشکنازی اهل روسیه و لهستان در نیویورک سیتی به دنیا آمد. جیلنهال عنوان کرده که خودش را یک یهودی می‌داند. جیلنهال در سیزدهمین سالگرد تولدش، آیینی مانند بر میتصوا انجام داد و داوطلبانه در پناهگاه افراد بی‌خانمان مشغول به کار شد زیرا والدینش می‌خواستند به‌خاطر سبک زندگی ممتازش به او حس قدردانی بدهند.
جیلنهال در کودکی به‌علت ارتباط خانواده‌اش با فیلم‌سازی، همواره با این صنعت روبه‌رو می‌شد. او نخستین بازیگری خود را در نقش پسر بیلی کریستال در فیلم کمدی حقه‌بازان شهر (۱۹۹۱) تجربه کرد. والدینش به او اجازهٔ حضور در اردک‌های قدرتمند (۱۹۹۲) را ندادند، زیرا برای این کار نیاز بود دو ماه خانه را ترک کند. در سال‌های بعد، پدر و مادرش به او اجازه دادند تا برای نقش‌ها آزمون بازیگری دهد، اما همواره او را در صورت انتخاب شدندش از گرفتن نقش‌ها منع می‌کردند. او چند باری اجازهٔ حضور در فیلم‌های پدرش را پیدا کرد. جیلنهال در سال ۱۹۹۳ در زن خطرناک (به همراه خواهرش مگی)، در «Bop Gun» (قسمتی از فیلم ۱۹۹۴ قتل: زندگی در خیابان) و در ۱۹۹۸ در کمدی میراث مالکوم ظاهر شد. جیک و مگی به همراه مادرشان در دو قسمت از یک برنامه آشپزی ایتالیایی در شبکهٔ فود نت‌ورک ظاهر شدند. پیش از سال آخر دبیرستان، تنها فیلم دیگری که به‌دست پدرش کارگردانی نشد و جیلنهال اجازه بازی در آن را داشت، فیلم جاش و اس.ای. ام در سال ۱۹۹۳ بود. این فیلم یک ماجراجویی کودکانهٔ کمتر شناخته‌شده بود.
پدر و مادرش اصرار داشتند که او برای تأمین مخارج زندگی خود شغل تابستانی داشته باشد؛ بنابراین او به‌عنوان نجات غریق و پیش‌خدمت در رستورانی که به‌دست یکی از دوستان خانوادگی اداره می‌شد، مشغول به کار شد. جیلنهال در سال ۱۹۹۸ از مدرسه هاروارد-وستلیک در لس آنجلس فارغ‌التحصیل شد و سپس برای مطالعهٔ ادیان شرقی و فلسفه به دانشگاه کلمبیا رفت. خواهرش در این دانشگاه سال آخری بود و مادرش از آنجا فارغ‌التحصیل شده بود. در کلمبیا، او ساکن جان جی هال بود. جیلنهال پس از دو سال تحصیل را رها کرد تا روی بازیگری تمرکز کند، اما قصد در نهایت قصد داشت مدرک خود را به پایان برساند. نخستین نقش اصلی جیلنهال در آسمان اکتبر بود، اقتباس سال ۱۹۹۹ جو جانستون از زندگی‌نامه هومر هیکام. جیلنهال در آن مرد جوانی از ویرجینیای غربی را به تصویر کشید که در تلاش برای برنده شدن بورس تحصیلی بود. این فیلم با استقبال مثبت روبرو شد و ۳۲ میلیون دلار به دست آورد. این فیلم در اخبار و بررسی ساکرامنتو «اجرای برجستهٔ» جیلنهال توصیف شد.