Le groupe a été formé en 1981 par Jean-Marc Pisapia, l’un des premiers membres de Men Without Hats. Il recrute le guitariste Guy Florent et le bassiste Jean-Pierre Brie et, avant de décider de s’appeler The Box, le groupe était connu sous le nom de Checkpoint Charlie.
Le premier single du groupe a attiré l’attention de la station de radio montréalaise CKOI-FM, ce qui a conduit à un accord avec Alert Records. Cette année-là également, le frère de Jean-Marc, Guy Pisapia, le rejoint aux claviers.
Leur premier album The Box est sorti en 1984 et a produit les singles à succès Must I Always Remember[2] et Walk Away. Le batteur Sylvain Coutu rejoint le groupe pour sa tournée de soutien,[4] mais est remplacé par Pierre Taillefer avant le prochain album. Florent a également quitté et a été remplacé par Claude Thibeault.
En 1985, The Box sort Tout le temps, tout le temps, tout le temps. Cet album, qui comprenait des chœurs de Sass Jordan et Marie Carmen,[1] a produit les singles à succès My Dreams of You[5] et L’Affaire Dumoutier (Say to Me). Ils ont remporté le prix Félix 1985 du groupe de l’année et ont été nominés pour le prix Juno 1985 du groupe le plus prometteur de l’année.
Closer Together de 1987 fut l’album le plus réussi commercialement du groupe. Comprenant les singles à succès “Ordinary People”, “Closer Together” et “Crying Out Loud for Love”, l’album a été certifié platine. Les chœurs de l’album ont été fournis par Jordan et Martine St. Clair. Le plus grand succès du groupe, “Closer Together”, a été initialement commandé pour une collecte de fonds pour une fondation anti-leucémie.