Wenn Du ein wenig herumprobierst, wirst Du merken, dass gerne eine gewisse Stimmigkeit in Bezug auf die Textur herrschen kann, aber nicht zwingend muss. Gedeckte Wolltücher passen eher nicht zum festlichen Anzug, glänzende Seide kann am groben Tweed deplatziert wirken.
Mit unifarbenen oder farbig rollierten Leinentüchern bist Du für die meisten Anlässe sehr kompatibel. Da würde ich einen entsprechenden Grundstock schaffen, wie Du es ja schon tust. Alles mit Mustern etcpp. in verschiedenen Materialien ist oft verlockend, aber es passiert gerne, dass man dann eine Schublade voll teurer Tücher hat, die man pro Saison vielleicht 1-2x trägt.