De Gouderakkers werden ook stenengooiers genoemd. Deze schimpnaam dateert vermoedelijk uit de 16e eeuw. De Gouderakkers zouden toen, bij gebrek aan 'echte' wapens, de vijand met stenen te lijf zijn gegaan. Een andere bijnaam is rakkers. Hier zal de bijnaam van de plaatsnaam zijn afgeleid. In andere plaatsen worden de inwoners rakkers genoemd, omdat de jeugd daar destijds nogal baldadig en vechtlustig was. Nog een bijnaam is schillenvreters. De Gouderakkers waren destijds zo arm, dat zij de aardappelschillen meekookten en opaten. Later waren het de meer welgestelden die dat deden.[4]