חטיבה 401 החלה את דרכה מגדוד אחד שהורכב ממספר יחידות בבית הספר לשריון. פקודת הארגון להקמתה של החטיבה ניתנה במאי 1966. הפקודה ניתנה כאשר הוחלט בצה"ל על הקמת חטיבה משוריינת סדירה אשר תהיה אחראית על אזור הדרום, ותהיה מוכנה להיערכות מול המצרים. תהליך ההקמה החל ב15- במאי 1967 ערב מלחמת ששת הימים, כשהוחלט במפקדת גייסות השריון להקים בבית ספר לשריון, שהוקם אז בג'וליס, שני גדודי טנקים סדירים מהכוחות הסדירים של בית הספר. ההחלטה התקבלה בהתחשב בחומר האנושי הגבוה המצוי בבית הספר. הגדוד הראשון היה גדוד שלח, גדוד הפטונים הראשון בצה"ל, שהיה למעשה לגדוד היחידי בחטיבה המתהווה.
הפלוגה הראשונה הייתה פלוגה ד' של יוצאי פטונים בפיקוד שלום עין גל. לאחר צירוף מגמת פטון לקורס קציני שריון, הוקמה פלוגה א' של עמוס כץ. פלוגה ג' הוקמה ממדריכי מדורים שונים במקצועות שריון שונים בביסל"ש בפיקודו של אמנון גלעדי. פלוגה נוספת היא פלוגה ב' שהורכבה מיוצאי קמ"ט. מפקד הפלוגה היה דני שני שנהרג במלחמת ההתשה כמג"ד עשת. לחטיבה צורפו מאוחר יותר גם צוערים מבה"ד 1. תקופה קצרה לפני המלחמה הספיק הגדוד לערוך תרגיל ראשון עם 47 טנקים וצוותים.