Основным структурообразующим элементом импровизации является джазовая фраза. Она главная синтагматическая единица. Импровизация в традиционном джазе — музыкальное построение разработочного типа, состоящее, как правило, из линейного чередования не объединенных в более обширную структурную целостность фраз. Фразовые построения индивидуальной импровизации в новом джазе также обычно не порождают композиционных структур высшего порядка. Это свойство джазовой импровизации («фразовость структуры») сближает ее с вокальной музыкой, где существует аналогичное структурное явление. Видимо, родство объясняется генезисом джазового искусства — его родословная восходит к негритянскому вокальному фольклору (блюз, спиричуэл, госпел). Отсюда — высокая вокализация джазовой фразы, ее необычайная близость тембральным особенностям человеческого голоса.
Формально джазовая фраза строится с помощью джазовой артикуляции, получившей в джазе фантастическую изощренность (опять же благодаря высокой вокализации и вербализации фразировки). По существу джазовая фраза — характерный показатель особенностей эстетического сознания импровизатора; именно по типу и качеству фразировки джазмена можно судить об уровне его импровизационного мышления. Фраза в джазе (наряду с интонемой) также основной носитель идиоматики жанра. Джазовая идиома всегда выступает как фразеологизм.