Né le 16 août 1959 à Wichita (Kansas, États-Unis), Ellery Eskelin est fils de deux musiciens. Tous deux organistes, ils animent un show télévisé sur une chaîne locale de Wichita, avant de s’installer à Los Angeles. En proie à des difficultés financières, ils se séparent en 1961, la mère d’Ellery, « Bobbie Lee », décidant de retourner vivre dans sa famille à Baltimore avec son fils. Son père, Rodd Keith (1937-1974), poursuivra une carrière de compositeur de chansons anonyme sur des textes que des paroliers amateurs en quête de reconnaissance sont invités à soumettre par petites annonces : ses innombrables enregistrements lui valent un statut de personnage culte de la culture musicale populaire américaine. Eskelin ne découvrira que tardivement et indirectement cet aspect de l’existence de son père (il a produit une compilation à son sujet). À Baltimore, il entend sa mère jouer les standards et se plonge dans sa discothèque où les disques de jazz abondent. À l’âge de dix ans, il commence l’apprentissage du saxophone ténor, instrument sur lequel il sera largement autodidacte, développant son savoir auprès de musiciens locaux et à l’écoute des concerts organisés par la Left Bank Jazz Society. En 1977, à la Towson State University, il étudie le répertoire classique et joue dans l’orchestre universitaire dirigé par Hank Levy, ancien arrangeur de Stan Kenton et Don Ellis. À l’issue de ses études en 1981, il intègre les rangs du big band du tromboniste Buddy Morrow avec lequel il est sur la route pendant deux ans.
Installé à New York, soucieux d’assimiler les règles du jazz moderne (et en particulier du be-bop), il fréquente des jam sessions animées par le batteur Harold White et le saxophoniste Junior Cook, joue à Harlem avec l’organiste Jack McDuff pendant plusieurs mois et prend des cours avec George Coleman et David Liebman. Parallèlement, il fait partie du Broken Consort du compositeur Mikel Rouse, formation de chambre rock, qui joue un rôle important dans la développement de son indépendance rythmique et encourage sa réflexion sur les logiques de phrasé et la manipulation du timbre qui demeurent parmi ses principales préoccupations.