سامرهالدر در کاوینگتن، لوئیزیانا زاده شد و بزرگ شد. پدرش «رابرت سامرهالدر» یک پیمانکار ساختمان از نژاد فرانسه و انگلستان بود؛ و مادرش «ادنا جوزف» ایرلندی بود. نام خانوادگی سامرهالدر از پدربزرگش ریشه گرفته شدهاست پدربزرگ وی یک ملاک انگلیسی ثروتمند بودهاست. ایان یک برادر به نام رابرت و یک خواهر به نام رابین دارد. پدر و مادرش زمانیکه او ۱۳ ساله بود از هم جدا شدند. او با مادرش بزرگ شد.
اوقات فراغتش را قایقسواری، شنا، ماهیگیری و پرورش اسب پر میکرد. همچنین وی در انجمن تئاتر و هنرهای نمایشی و گروه تئاتر محلی عضو بود.
با تشویق مادرش در سن ۱۰ سالگی به حرفهٔ مدلینگ رو آورد، که برای این کار او هر تابستان به نیویورک میرفت.
در دبیرستان مدل شدن را عقب انداخت و روی ورزش و درسش تمرکز بیشتری کرد.
چند سال بعد، وقتی فرصت مدل شدن در اروپا برایش فراهم شد، سریع آن را پذیرفت و به اروپا سفر کرد و تحصیل کرد و به شهرهایی همانند پاریس و میلان و لندن رفت.