Cette manufacture, fabricant une draperie de luxe est née d'une initiative de Colbert en 1665, il invite le riche fabricant zélandais Josse Van Robais à s'installer en France et lui accorde un privilège de manufacture. Cette action s'inscrit dans le programme mercantiliste de développement économique de Colbert. Van Robais peut amener avec lui 50 artisans et il a le monopole de la fabrication des draps dits "à la façon de Hollande et d'Espagne" dans le royaume de France.La manufacture emploie 500 ouvriers à la mort de Josse Van Robais. Son fils aîné, Isaac lui succède, puis son cadet aussi prénommé Josse, dit de Ryxdorp.
En 1708, les Van Robais décident de réunir leurs activités. Près de la Porte d'Hocquet, à la sortie ouest de la Ville, ils acquièrent de grands jardins et entreprennent la construction, dès 1709, de la manufacture des Rames. Des canaux sont creusés pour la relier à la Somme. En 1714, la construction est suffisamment avancée pour y réunir la quasi-totalité des 2000 ouvriers dans des ateliers de teinturerie et tissage, des laveries et des magasins. On y trouve aussi une forge, des logements pour certains ouvriers et un grand corps d'habitation pour les bureaux et le logement des Van Robais..
.En 1724, la manufacture est à son apogée. Elle emploie plus de 3 000 ouvriers. Les Van Robais obtiennent le privilège de pouvoir marquer leurs pièces de drap d'un plomb portant les armes royales.
Les privilèges initialement accordés pour 20 ans sont renouvelés à plusieurs reprises, jusqu'en 1768, où l'exclusivité est supprimée. En 1784, au nom des idées de libre-entreprise qui prévalent alors. Mais pendant plus d'un siècle, les Van Robais, forts de ces aides, développent leurs activités, faisant reconnaître partout en Europe la qualité de leur production.