Сын и ученик Йозефа (Джузеппе) Венцеслава Кёлера (1809–1878), флейтиста придворного оркестра в Модене, родился в Модене 4 декабря 1849 года.

В детстве Эрнесто гастролировал по Италии, выступая в сопровождении своего брата пианиста Фердинандо. В 19 лет он уже играл в оркестре вместе с отцом.

В 1869–1871 гг. — в 20 лет — Эрнесто уже был солистом оркестра Карл-театра в Вене. В 1871 году по рекомендации соотечественника Чезаре Чиарди, был принят флейтистом в оркестр Санкт-Петербургского Императорского (Мариинского) театра. Чиарди, флейтист и композитор, проживший в Санкт-Петербурге вторую половину жизни, преподавал в Санкт-Петербургской консерватории и много лет был солистом в Императорском театре, был наслышан о виртуозной игре Эрнесто Кёлера, и, видимо, хотел видеть рядом с собой в театре коллегу-соотечественника.

Эрнесто Кёлер, как и Чезаре Чиарди, попав в Санкт-Петербург, остался в нём до конца жизни. 35 лет он служил сначала первым флейтистом, а затем, после смерти своего старшего коллеги, и солистом Императорского театра. В 1906 году «Санкт-Петербургский вестник» поместил заметку о Кёлере к 35-летию его деятельности в российской столице

Кёллер был одним из знаменитейших флейтистов своего времени. Автор более 100 пьес, этюдов, дуэтов для флейты, которые при его жизни были популярны и успешно издавались музыкальным издательством Циммерман. Для Императорского театра он сочинил оперу «Бен Ахмет» (поставлена в 1893) и несколько успешных балетов (особенно популярен был балет «Клоринда»).

В своём композиторском творчестве Кёллер уделял значительное внимание красоте мелодии. Его музыка была широко известна и часто исполнялась не только в России, но и в Европе, Америке и даже в Австралии. Публика очень любила его произведения, а музыканты высоко ценили великолепное знание автором особенностей игры на флейте.

Несмотря на то, что Кёллер родился уже после изобретения Бёмом флейты новой системы, он всю жизнь играл на классических флейтах простых систем. Впрочем, допускал, что его этюды удобнее играть на флейте конструкции Бёма, к которой сам относился иронически.

Этюды Кёллера прочно вошли в репертуар начинающих флейтистов. Кёллер также владел и другими музыкальными инструментами, в частности играл на мандолине. В 1866 году издательством Циммермана опубликована первая в России школа игры на мандолине, написанная Кёллером.