Сэмюэл Кольт родился в 1814 году в Хартфорде, штат Коннектикут. Когда Сэму было два года, его мать умерла, а еще через пару лет отец вновь женился. В десятилетнем возрасте мальчик начал подрабатывать на ферме неподалеку. Вскоре его отослали в частную школу в Амхерсте (штат Массачусетс), где он проявил живой интерес к химии. Впрочем, он не пробыл там и двух лет – его обучение закончилось, когда один из пиротехнических экспериментов, которыми он изумлял одноклассников, вдруг вышел из-под контроля. В 15 лет Сэм начал работу на ткацкой фабрике в Уэре, штат Массачусетс, где его отец служил торговым агентом. Но он все еще питал любовь к пиротехнике и накануне Дня независимости 4 июля 1829 года развесил по округе написанные от руки листовки с объявлением, что «Сэм Кольт покажет, как можно взрывом подбросить в небо плот, плавающий в городском пруду».