Результаты открытого конкурс-теста систем распознавания автомобильных номеров 2010

Тестирование организованое редакцией журнала PROSystem CCTV совместно с организаторами выставки "Технологии безопасности 2010"  (публикация в журнале № 06(42)2009 - 01(43)2010 г.)

Запись видеоматериала осуществлялась со стационарных черно-белых аналоговых телекамер, установленных на постах ГИБДД на Дмитровском шоссе (Московская область) и Щелковском шоссе (Московская область), на улице Сущевский Вал с П-образной платформы (Москва) и на контрольном посту милиции «Лаишево» ПД ПС ОГИБДД ОВД по г. Казань.

Транспортный поток на записях максимально приближен к реальному, т.е. в видеофрагментах присутствуют автомобили с частично или полностью нечитаемыми знаками или без номерных знаков, а также существует вероятность появления номеров абсолютно любых типов.

Тестирование организационно разделено на две части: основная была обязательна для всех участников, а в дополнительной они могли принять участие по предварительно поданной в жюри заявке. В основной части используются тестовые видеофрагменты, в которых телекамера располагается над полосой движения фронтально к номерным знакам (без поворота в горизонтальной плоскости). В дополнительной части, телекамера установлена под углом к номерным знакам (поворот в горизонтальной плоскости), поэтому автомобили в поле зрения телекамеры движутся с большей скоростью.

Все случаи некорректного распознавания классифицируются так:

• Ошибочное узнавание, т.е. все  неправильно распознанные номера, которые могут существовать и присутствовать в базах данных, в т.ч. такие номера, где распознаны несуществующие на данный момент коды регионов, поскольку они могут в будущем появиться.
• ошибки, т. е. все неправильно распознанные номера (фрагменты номеров или целые номера с добавленными символами, со знаками сомнения или без таковых),которые не могут существовать и присутствовать в базах данных);
• ложные распознавания, т. е. номера, которые были распознаны там, где их нет (решетки радиатора, надписи на проезжающем транспорте, блики на дороге и т. д.).

В итоговой таблице у нас присутствуют следующие критерии сравнения систем распознавания автомобильных номеров:

• Вероятность   безусловного    распознавания - вероятность полного совпадения цифробуквенной последовательности распознанного системой номера с номером из эталонного протокола, когда ему соответствует только один номер журнала системы.
• Вероятность   условного   распознавания - вероятность полного совпадения цифробуквенной последовательности распознанного системой номера с номером из эталонного протокола, когда ему соответствует хотя бы один номер журнала системы, при этом допускается несколько отличающихся версий номера.
• Вероятность ошибочного узнавания - несовпадение цифробуквенной последовательности распознанного системой номера с номером из эталонного протокола, при этом распознанный номер может существовать и присутствовать в базах данных. В это число включаются один или несколько распознанных номеров из журнала системы, отличающиеся от соответствующего номера из эталонного протокола хотя бы одним символом. К числу ошибок относятся неправильно распознанные символы, отсутствующие на нужном знакоместе символы, лишние символы.
• Вероятность ошибки - несовпадение цифробуквенной   последовательности   распознанного системой номера с номером из эталонного протокола, при этом распознанный номер не может существовать и присутствовать в базах данных. В это число включаются один или несколько распознанных номеров из журнала системы, отличающиеся от соответствующего номера из эталонного протокола хотя бы одним символом. К числу ошибок относятся неправильно распознанные символы, отсутствующие на нужном знакоместе символы, лишние символы.
• Вероятность пропуска - вероятность отсутствия распознанного номера в журнале системы при наличии номера или отметки об автомобиле без номера в эталонном протоколе, т. е. пропущенный системой автомобиль.
• Вероятность ложного распознавания -вероятность наличия распознанного номера в журнале системы при отсутствии номера или отметки об автомобиле без номера в эталонном протоколе, т. е. запись в журнале системы распознавания, не относящаяся к номерам автомобилей.

Итоги основного теста

Название системы распознавания	Вероятность безусловного распознавания	Вероятность условного распознавания	Вероятность ошибочного узнавания
АвтоУраган 3.3.2	89,69%	89,80%	4,61%
АвтоУраган 3.4	90,45%	90,50%	2,93%
Интегра-Видео-Авто	81,77%	81,82%	10,63%
Поток	86,38%	86,76%	10,36%
ТелеВизард-Авто	51,33%	51,60%	15,36%
AutoTrassir	83,07%	83,67%	11,12%
CVS Авто	82,09%	82,26%	7,76%
MegaCar	81,06%	81,61%	9,01%
Overseer Traffic	79,87%	79,98%	8,30%
Авто-Инспектор	94,19%	94,90%	2,77%

Название системы распознавания	Вероятность ошибки	Вероятность пропуска	Вероятность ложного распознавания
АвтоУраган 3.3.2	5,37%	1,50%	3,20%
АвтоУраган 3.4	6,24%	1,45%	2,60%
Интегра-Видео-Авто	0,92%	13,95%	0%
Поток	3,15%	3,05%	1,25%
ТелеВизард-Авто	12,48%	27,20%	0,85%
AutoTrassir	4,72%	5,25%	5,55%
CVS Авто	8,08%	2,60%	3,30%
MegaCar	1,57%	15,30%	0,05%
Overseer Traffic	0%	18,9%	0,05%
Авто-Инспектор	1,03%	6,15%	4,45%

Итоги дополнительного теста

Название системы распознавания	Вероятность безусловного распознавания	Вероятность условного распознавания	Вероятность ошибочного узнавания
АвтоУраган 3.3.2	70,65%	70,75%	13,97%
АвтоУраган 3.4	-	-	-
Интегра-Видео-Авто	-	-	-
Поток	62,85%	63,26%	22,27%
AutoTrassir	63,06%	64,27%	31,78%
MegaCar	49,29%	51,11%	26,82%
Overseer Traffic	57,39%	57,59%	14,17%

Название системы распознавания	Вероятность ошибки	Вероятность пропуска	Вероятность ложного распознавания
АвтоУраган 3.3.2	10,73%	5,50%	1,90%
АвтоУраган 3.4	-	-	-
Интегра-Видео-Авто	-	-	-
Поток	8,91%	6,60%	5,10%
AutoTrassir	7,29%	6,20%	15,20%
MegaCar	3,44%	22,20%	0,10%
Overseer Traffic	0,51%	28,70%	0,10%

Примечание: Красным цветом в таблицах выделены результаты систем, которые использовали массовые подстановки кодов регионов, что привело к завышению реальных результатов распознавания.

Результаты тестирования российских систем распознавания автомобильных номеров 2007

Тестирование организованое редакцией журнала CCTV Focus  (публикация в журналах №6 за 2006 г. и №1 за 2007 г.)

Сравниваемые параметры:

• Распознавание безусловное – это полное совпадение цифробуквенной последовательности номера.
• Распознавание условное - допускается, что для 1 номера из тестового списка имеется хотя бы один правильный результат из нескольких вариантов его распознавания.
• Ошибки распознавания – количество ошибочно распознанных цифробуквенных последовательностей (хотя бы одним символом, включая знак сомнения вместо какого-либо символа).
• Пропущено - количество автомобилей, незарегистрированных системой распознавания .
• Лишние записи – количество записей, не являющихся номерами  автомобилей (решетки, надписи на автомобилях и т.п.).
• Регистрация т/с - количество автомобилей, зарегистрированных системой распознавания, независимо от правильности распознавания.

Фирма/Название системы распознавания	Распознавание безусловное	Распознавание условное	Ошибки
«Технологии Распознавания»АПК «АвтоУраган»	89,8%	89,9%	9,3%
«Новые Технологии» АПК «CVS-Авто»	83,7%	84,1%	6,2%
«Интегра-С» Интегра-Видео-Авто	80,2%	84,6%	11,6%
«Мегапиксел» Мегакар	73,2%	73,6%	24,4%
ЗАО «Росси»АПК «Поток»	70,4%	70,5%	29,9%
Компнания «ISS»«АвтоИнспектор»	69,3%	69,3%	21,1%
Полные результаты тестирований (PDF, 90Кб) загрузить

 

Результаты сертификационных испытаний 2007

Испытания проводили независимые эксперты из НИЦ ГИБДД МВД РФ, при участии представителей ГИБДД города Москвы. Место испытаний: Пост-пикет ДПС "Липецкая улица", выезд из Москвы, одна полоса движения.  Дата испытаний - 22 октября 2007 г.
Погодные условия:

• в светлое время суток: Погода пасмурная, дорожное покрытие сухое, большинство номеров чистые.
• в сумерки: Погода пасмурная, дорожное покрытие сухое, большинство номеров чистые.
• в темное время суток: Освещение зоны контроля 65 люкс, равномерное, желтого цвета. Погода пасмурная, мелкий дождь, большинство номеров чистые. 

Фирма/ Название системы распознавания	Распознавание безусловное	Распознавание условное	Ошибки	Пропущено
«Технологии Распознавания» АПК «АвтоУраган»	95,39%	96,30%	2,72%	0,38%
«Новые Технологии» АПК «CVS-Авто»	92,44%	92,89%	1,36%	5,74%
ЗАО «Росси»АПК «Поток»	85,26%	86,39%	8,47%	2,19%
Полные результаты тестирований (PDF, 110Кб) загрузить