رابرت داونی جونیور در ۴ آوریل ۱۹۶۵ در منهتن نیویورک به دنیا آمد. پدر و مادر او هر دو بازیگر بودند. پدر او لیتوانیایی، مجارستانی و ایرلندیتبار است، و مادرش اصلیت اسکاتلندی، آلمانی و سوییسی دارد. داونی و خواهر بزرگترش در روستای گرینویچ بزرگ شدند.
کودکی داونی با اعتیاد پدرش احاطه شده بود. پدر او به مواد مخدر معتاد بود و به داونی اجازه داد تا در شش سالگی استفاده از ماریجوآنا را تجربه کند. البته پدر او گفتهاست که از آن «ماجرا پشیمان است.» داونی بعدها اظهار داشت که مصرف مواد مخدر با او و پدرش پیوند عاطفی برقرار میکردهاست: «هنگامی که من و پدرم مشغول استعمال میشدیم انگار او سعی میکرد عشق خود را به من بیان کند.» در نهایت داونی در اثر استفاده بیرویه از مواد مخدر و مشروبات الکلی به آنها معتاد شد.
او در دوران کودکی نقشهای کوچکی در فیلمهای پدرش داشت. اولین تجربه بازیگری او در سال ۱۹۷۰ و در فیلم پوند به دست آمد، هنگامی که پدر و مادرش در سال ۱۹۷۸ از هم جدا شدند، او با پدر خود به کالیفرنیا نقلمکان کرد. در سال ۱۹۸۲ از دبیرستان سانتا مونیکا بیرون آمد و به نیویورک بازگشت تا حرفه بازیگری را بهطور تماموقت دنبال کند.
او و کیفر ساترلند با بازی در فیلم ۱۹۶۹ به هالیوود راه یافتند و سه سال باهم، هماتاقی بودند.