Ne reposant pas sur un effectif précis, une formation de jazz peut se réduire à un duo constitué par un flûtiste et un guitariste jouant dans la pénombre d'une petite boite de nuit, comme s'étendre à une vingtaine de musiciens réunis en big band dans une salle de concert.
1. Le duo. Il s'articule autour de deux instrumentistes pratiquant des instruments différents ou semblables. Généralement, dans le cas d'un duo de guitare ou de piano, les styles personnels des deux instrumentistes s'opposent ou se complètent, mais pas nécessairement comme le quatre mains conventionnel qui existe au piano. La répartition des rôles tend à créer un équilibre dans les échanges improvisés, sans que forcément un des deux musiciens accompagne l'autre. De même dans l'exposition et la présentation du thème. C'est d'ailleurs à travers la nature des dialogues réciproques entre les instrumentistes que le duo tire sa personnalité et son intelligence de jeu.
2. Le trio. Il est à la base des plus belles pages de l'histoire du jazz. La formule du trio est souvent assurée par le piano (ou la guitare), la contrebasse et la batterie. Les trois instruments sont complémentaires : la batterie déploie une rythmique soutenue, parcourue de subtiles nuances, tandis que la walking bass imprimée par la contrebasse libère quelque peu la main gauche du pianiste ou le jeu en block-chord du guitariste, ce qui permet à ces derniers de faire ressortir autrement les qualités polyphoniques de leur instrument respectif. .
3. Quartette et quintette. Au trio précité, le quartette et quintette se définissent par l'adjonction d'un souffleur (de deux dans le cas d'un quintette) ou d'un(e) chanteur(teuse). Dans ce cas, la répartition des rôles fait que les vents (trompette, saxophone...) ou les voix exposent le thème, tandis que le piano (ou la guitare), la contrebasse et la batterie constituent la section rythmique et servent d'accompagnateurs.
4. Le groupe de fusion ou de jazz-rock. Il est composé comme le quartette ou le quintette, mais avec une nette préférence pour les instruments électriques (guitare, basse, piano électrique, synthétiseur, etc.)..
5. Le Big Band. Il est un peu à l'image de l'orchestre symphonique dans la musique classique par son ambition à traduire des œuvres fréquemment structurées et arrangées, parfois sous forme de suites, comme celles proposées par les prestigieux orchestres de Duke Ellington ou de Tad Jones & Mel Lewis.
Composé d'une section rythmique identique à celle du trio, il contient une importante section de cuivres. Traditionnellement : quatre trompettes, quatre trombones, deux saxophones alto, trois saxophones ténor et un saxophone baryton. Bien entendu, d'autres formules existent qui répondent habituellement aux arrangements et qui justifient l'utilisation d'instruments tels que la flûte, la clarinette ou le tuba.