De uitdrukking komt waarschijnlijk voort uit het idee van een heel kleine viool die een hoog, piepend geluid produceert dat komisch of overdreven kan klinken in vergelijking met de ernst van de beschreven situatie. Het suggereert dat de spreker van mening is dat de reactie van de persoon of de uiting van verdriet overdreven is of geen oprechte sympathie verdient.
Wanneer iemand zegt dat hij "de kleinste viool speelt" voor iemand anders, zegt hij in feite dat hij de klacht of het ongeluk van die persoon onbelangrijk of zelfs amusant vindt. Het is een manier om iemands zorgen of problemen af te wijzen zonder echt medeleven of begrip te tonen.
Het is belangrijk op te merken dat het gebruik van deze uitdrukking als ongevoelig of afwijzend kan worden ervaren. Het moet dus met voorzichtigheid worden gebruikt en alleen in passende contexten waarin de bedoeling duidelijk wordt begrepen.