Компьютерная Графика и Мультимедиа Сетевой журнал

Любой человек, хоть раз публиковавшийся на научной конференции задумывался о том насколько престижна и весома будет его публикация. Всем известно что есть "главные" конференции (major), есть попроще, есть "третий сорт", ну и уж совсем окраины научного мира, о которых кроме их устроителей может никто и не знает. Границы этих "дивизионов" довольно размыты. Зачастую бывает сложно назвать даже самую престижную конференцию в области (например, в зрении ICCV и CVPR конкурируют почти на равных).

Целью моей заметки является немного прояснить ситуацию в этой непростой области. Основываться я буду на нескольких найденных мной в интернете рейтингах конференций по близким мне тематикам машинного зрения (computer vision) и машинного обучения (machine learning). Думаю, мои выводы так или иначе будут применимы и к конференциям в других областях, особенно что касается IT.

Как я уже говорил, конференции обычно делят по их значимости на 3 эшелона + 1 (те которые даже не прошли в рейтинг) . Деление всегда условно и зачастую основывается на личных предпочтениях автора рейтинга. Некоторые рейтинги этим и ограничиваются не предоставляя никакой дополнительной информации, как например вот этот. 

Какие же могут быть объективные метрики оценки качества конференций? Например, доля статей принятых к публикации относительно общего числа поданных работ. Пример такого рейтинга можно посмотреть здесь. Такой показатель очень важен, он характеризует насколько разборчивым является программный комитет. Заметим, что у большинства современных конференций существует два вида публикации - в виде полной статьи с устным докладом (full paper, oral presentation) и короткой статьи с постером (short paper, poster). В первом случае статья имеет меньшие ограничения на объём в печатных листах и представляется устно, во втором статья меньше и вместо устного доклада - постер. Ценность у полной статьи существенно выше. Обычно полных статей бывает от трети до половины (иногда и наоборот). Далее я буду писать общий процент - отношение количества всех принятых (полных и коротких) статей  к количеству поданных. У серьёзных конференций процент принятых статей не будет превышать 20-25%. Конференции Средней руки будут иметь рейтинг в районе 40-50%. Конференции с рейтингом выше 70% - почти наверняка имеют очень низкий уровень.

Тем не менее, такая оценка не абсолютна и далеко не идеальна. Большие конференции могут пожертвовать избирательностью ради широты охвата. На двух конференциях с одним и тем же "проходным баллом" могут быть публикации совершенно разного уровня из-за популярности события и контингента авторов. Так же может сказаться узость тематики, рекламируемость, популярность темы, возраст конференции  и т.п. Несмотря на это, процент приёма - очень важный фактор и если по нему может быть сложно сказать кто "лучший из лучших", то определить аутсайдеров будет не сложно.

Ещё один критерий - отношение общего количества опубликованных статей к общему количеству ссылок на статьи данной конференции, так называемый "импакт фактор" (impact factor). Такие данные можно, например, найти здесь и здесь. Сразу заметим, что в отличие от процента принятых статей, который рассчитывается  совершенно точно и открыто публикуется устроителями конференции, эти соотношения считаются приблизительно исходя из дынных в различных системах вроде research index (citeseer) или DBLP из-за чего оценки не столь точны. Тем не менее, такой показатель больше говорит об уровне конференции - ведь чем больше в среднем цитирований статьи, тем она ценнее и, следовательно, тем выше уровень опубликовавшей её конференции.

Однако и такой рейтинг не является правдой в последней инстанции. Не только из-за погрешности расчётов  этого рейтинг, но и из-за специфики конференций. Например, сильно теоретические конференции интересны намного меньшему числу людей, из-за чего их цитируют реже. Так же большие конференции могут, как уже говорилось, публиковать большое количество докладов, немного снижая планку, ради большой широты охвата. Опять же, стоило бы разделять полные и короткие постерные доклады.

Подведём итоги. Абсолютно объективных рейтингов нет и, пожалуй, не будет. Для полной оценки качества требовалось бы учесть такие вещи как качество рецензирования, авторитет программного комитета и т.п., что пока что не реально. На мой взгляд, главный критерий качества - импакт фактор, на втором месте процент принятых статей, и на третьем - общий "авторитет".

Как итог, приведу данные по конференциям по зрению и машинному обучению.

Машинное зрение (acceptance rate за 2006 год):

Машинное обучение (acceptance rate за 2006 год, ECML 2005 год):