Свяжитесь с нами в мессанджерах или по телефону.

whatsapp telegram viber phone phone
+79214188555

Доклад Андрея Степанова, полиграфолог из Санкт-Петербурга.

Матушкин Андрей Николаевич

Президент IAPD
Команда форума
Приватный уровень доступа
Действительный члены НП "МОД"
Регистрация
1 Январь 1970
Сообщения
22.017
Реакции
3.769
Баллы
113
Возраст
53
Адрес
Россия,
Веб-сайт
o-d-b.ru
Доклад Андрея Степанова, полиграфолог из Санкт-Петербурга.

Санкт-Петербургская Школа детекции лжи была образована 30 июля 1998 года. С первого же дня своего существования был взят курс на создание высокопрофессиональной системы индивидуальной подготовки специалистов для проведения психофизиологических исследований с применением полиграфа («детектора лжи») на основе лучших мировых практик США, Израиля, Японии.

Для организации учебного процесса мы использовали отработанные десятилетиями принципы обучения высшей технической школы СССР – согласитесь, она была сильнейшей в мире. За основу была взята лучшая система освоения теоретического материала и его практического внедрения - система Завод-ВТУЗ, организованная в 1930 году на базе Ленинградского Металлического завода Генри Фордом – основателем корпорации «Ford». Кроме того, мы полностью внедрили у себя систему обучения, используемую на Высших Курсах КГБ г. Минска в 80- годы прошлого столетия.

С одной стороны, использование полиграфа в бизнесе и правоохранительных органах имеют общие черты, с другой – принципиально различаются. Но вы, наверное, согласитесь, что ошибка полиграфолога и в той, и в другой области может иметь одинаково тяжелые последствия для обследуемого. Поэтому, в своем выступлении я хочу остановиться только на одном направлении проделанной нами работы – на отборе кандидатов на обучение.

Весь наш почти 20-летний опыт показал, что на обучение мы не можем брать каждого желающего, т.к. не каждый обладает необходимыми качествами и способностями, чтобы освоить эту сложнейшую профессию. Постараюсь пояснить почему. Специалист в инструментальной детекции лжи с помощью сложнейшей методологии проникает во внутренний мир обследуемого и оказывает на него манипуляционное воздействие. По результатам каждого исследования на основе полученных данных, по большому счету, он решает судьбу человека. Так появилось первичное требование к кандидату – он должен в первую очередь быть порядочным человеком. Т.е. его моральная надежность не должна вызывать никаких сомнений. А как это установить - только одним способом – изучить весь его предыдущий жизненный опыт с т.з. возможных проявлений факторов риска и их системности.

Затем мы поняли, что именно успешным специалистом может стать не каждый – нужны определенные личностные качества. Так появились целые блоки изучения психологических особенностей, ценностных ориентаций, коммуникативных, стрессоустойчивых качеств и т.д. будущих кандидатов на обучение.

Наша профессия очень ответственная – ошибка может сломать жизнь человеку. Метод является полностью вероятностным. Поэтому, мы пришли к выводу, чтобы освоить эту сложнейшую методологию, кандидат должен обладать определенным интеллектом, кругозором и особыми способностями.

И вот по всем этим направлениям были выработаны критерии их оценки и принятия решения о годности кандидата на обучение.

Разработка критериев прогноза успешности будущего полиграфолога осуществлялась не на пустом месте. Дело в том, что в 1992-1996 годах в рамках группы психологического обеспечения оперативной деятельности, созданной в Ленинградском Управлении госбезопасности (такая группа была единственной в стране), я с коллегами разрабатывал систему отбора и подготовки переговорщиков с лицами, захватившими заложников. И как оказалось, работа профессионального переговорщика очень близка по всем параметрам к работе грамотного полиграфолога.

Теперь давайте рассмотрим последовательность изучения кандидата, до принятия решения о его зачислении на учебу.

1. Формальные биографические критерии.

Кандидатов до 30 лет я даже не рассматриваю на обучение. 80% моих учеников в возрасте около 40 лет или старше. Этой профессией должен заниматься зрелый человек, имеющий хороший жизненный опыт. А накопление этого опыта, как правило, происходит к 35-40 годам. Ко мне не могут попасть кандидаты без высшего образования. Причем наличие диплома - это еще не говорит о том, как он осваивал материал в институте – это устанавливается в ходе собеседования. Причем высшему техническому, а не психологическому образованию отдается предпочтение. Желателен опыт семейной жизни и наличие ребенка. Человек, имеющий судимость или находившийся под судом или следствием (в зависимости от обстоятельств) тоже не может рассматриваться на учебу. Тщательно рассматривается

опыт практической работы в трудовых коллективах. Мотивация работы в этой профессии, склонность к оперативно-следственной работе является дополнительным положительным фактором.

2. Кандидат готовит расширенную автобиографию от детского садика до настоящего времени по предложенному нами сценарию. Обычно это занимает 3-4 листа. На этом этапе происходит проверка анкетных данных и первичное изучение кандидата, в т.ч. по методу психологической автобиографии. По изложенному тексту мы смотрим, как шло формирование личности, развитие способностей, ценностных ориентаций, интеллекта, кругозора. Насколько грамотно построено изложение, наличие ошибок, уже на этой стадии прогнозируем ведущие черты личности, присущие тем или иным акцентуациям. Кандидат проверяется по возможным базам и учетам.

Если кандидат живет в Санкт-Петербурге, то он приезжает на двухчасовое собеседование. Здесь - грамотно построенная беседа и оценка достоверности полученной информации является основополагающей для принятия первичного решения. С иногородними приходится общаться по скайпу, что является менее предпочтительным, чем непосредственное общение. Очень часто после разговора со мной и полностью поняв, чем ему придется заниматься и с какими трудностями он столкнется, соискатель отказывается от идеи осваивать профессию полиграфолога. Но тот, кто готов идти дальше – приступает к следующему этапу отбора.

3. Углубленное психодиагностическое тестирование.

Происходит непосредственно в Санкт-Петербурге в течении 2-х дней.

На этом этапе тщательно изучается наличие нескольких фундаментальных психологических блоков для прогноза успешности в обучении и в последующей работе.

Проводится комплексное изучение присущих кандидату ведущих психологических качеств личности. Для этого проводится многостороннее исследование личности, выявляются ведущие акцентуации, определяется возможное наличие психопатий, изучаются основные свойства нервной системы и т.д.

Кроме того, кандидат должен обладать:

* Высоким уровнем интеллектуального развития, широким кругозором, познаниями во многих областях. Подробно исследуются познавательные психические процессы, долговременная и кратковременная зрительная и слуховая память и т.д. При отсутствии интеллектуальных способностей он просто не сможет освоить ту сложнейшую методологию, которую мы преподаем.

* Развитыми коммуникативными качествами. Специалист должен уметь в кратчайшее время установить контакт с любым человеком, приходящим на тестирование и расположить его к себе, получить интересующую информацию.

* Высоким уровнем стрессоустойчивости. У нас довольно стрессовая и опасная работа. Приходящий на обследование человек никогда не хочет рассказывать, что у него по жизни было плохого, или что он причастен к расследуемым событиям. Специалисту за 3 часа надо его тщательно изучить и перепроверить, все ли он рассказал, не обманул ли нас. Верхом мастерства работы полиграфолога является получение признания по совершенному преступлению. А это очень стрессово. По разработанной у нас технологии в 70% случаев мы получаем такие признания. Еще важный момент: наш метод вероятностный. Мы все время находимся в стрессе, если не получили признание, правильно ли мы сделали выводы. И иногда ночи приходится не спать, мучиться, а правильно ты его обвинил, не пропустил ли виновного и т.д. Это тоже стресс. Кроме того, встречаются неадекватные заказчики, обследуемые или те, кто за ними стоит.

* Обязательно наличие артистических способностей. Без них я на учебу не беру. Если нет артистических задатков, ты никогда не освоишь методологию манипулятивного воздействия и никогда не будешь получать признания от обследуемого. Ни у кого - ни при найме на работу, ни на расследованиях. И будешь простым статистом - оператором машины, которых в России 95% из всех работающих в качестве «специалистов по детекции лжи».

Т.о. делается прогноз психологической и психической надежности кандидата.

4. Психофизиологическое исследование на полиграфе.

Отсутствие серьезных негативных проступков в биографии кандидата – это обязательное условие. Поэтому, кандидат проходит четвертый этап отбора – психофизиологическое исследование на полиграфе по 30 факторам риска. На этом этапе делается прогноз его моральной надежности. Проверяем все, начиная с употребления наркотиков, злоупотребления алкоголем, совершения краж, преступлений и т.д. Устанавливается их серьезность и возможная системность. Если я это выявляю по любому из «факторов риска», мне такой специалист не нужен. Он преступил грань, которую нельзя было переступать. Если он совершал регулярные кражи по жизни, махинации и т.д. – он меня тоже не интересует. Кандидатам с судимостями ко мне в школу путь закрыт – им я всегда отказываю. Хотя, я знаю школы, в которые они потом поступали и обучались. Кодекс чести должен быть обязательно.

Особо надо отметить, что все указанные выше этапы отбора применяются нами как к кандидатам из бизнеса, так и к кандидатам из правоохранительных и административных органов. Причем, этапы отбора для кандидатов на первичную базовую подготовку и для уже прошедших обучение в других школах в качестве полиграфологов, которые также берутся у нас только на курс базовой подготовки - одинаковы.

Конечно, с точки зрения бизнеса, такой отбор не выгоден. Да, мы сознательно несем очень большие убытки. Хотя могли пойти по принципу всех других школ – брать всех, кто хочет и доход обеспечен. Наша статистика показывает, что из 10 кандидатов все этапы отбора проходят не более 2-х (отсев составляет 80%). В июльскую группу было 11 кандидатов - прошли только трое. Восьми человекам был отказано. А вот теперь скажите, какая школа в России или в нашем Евразийском Союзе может себе позволить отказаться от 800 тысяч рублей?! Многие, кто не попал к нам, едут учиться в другие школы. Но я четко для себя решил, что ту уникальную методику, которой мы обучаем, можно давать только в проверенные и надежные руки. И только таким образом можно бороться с тем невежеством, которое на сегодняшний день сложилось в области использования полиграфа в России, да и в других странах СНГ. Этим отбором мы реализуем общечеловеческий принцип - «не навреди». Ну не все же должно измеряться в нашей современной жизни только деньгами, ведь есть же другие ценности, которые должны присутствовать в нашей жизни…

К сожалению, на сегодняшний день в России существуют трудности и проблемы использования полиграфа в правоохранительной деятельности и кадровой работе. К этим проблемам (часть из них была изложена выступлении А.Б.Пеленицына на конференции полиграфологов МВД России в 2008 году) можно отнести:

1.Психофизиологическая проблема - представляется самой важной, потому что без ответа на главный вопрос - а насколько психофизиологические закономерности, явления и процессы, положенные в основу прикладных методов тестирования с использованием полиграфа, предопределяют их валидность, точность и надежность - говорить об эффективных методиках, организационном и нормативно-правовом обеспечении использования полиграфа просто не имеет смысла. Высокая цена ошибки.

2.Отсутствие нормативно-правовой базы.

3.Организационные проблемы.

4.Отсутствие выверенных стандартов проведения исследований.

5.Отсутствие единого стандарта подготовки полиграфологов.

6.Отсутствие системы отбора для данной профессии.

7.Низкая квалификация полиграфологов.

8.Проблемы, порождаемые низким качеством используемой аппаратуры (полиграфами).

9.Отсутствие системы контроля качества проводимых исследований.

10.Отсутствие правильной процедуры рассмотрения в суде.

11.Отсутствие ответственности полиграфологов за сделанные выводы и др.

Именно поэтому для их решения необходимо ориентироваться на "лучшие практики", которые можно найти и в США, и в Израиле, и в Японии. Об этом я буду говорить в рамках выступления в «закрытом» формате.

Почти за 20 лет становления и развития Санкт-Петербургской Школы детекции лжи удалось, хотя бы в рамках одной Школы, создать:

1. Строгую и научно-обоснованную систему отбора кандидатов для обучения данной профессии на основе разработанной у нас профессиограммы успешного специалиста.

2. Выверенную научно-обоснованную современную комплексную методику организации и проведения прикладных психофизиологических исследований с использованием полиграфа, позволяющую до минимума сократить «ложноотрицательные» и «ложноположительные» ошибки в этом полностью вероятностном методе. Методика является единым Стандартом для выпускников СПб ШДЛ и по объему насчитывает около 2500 листов.

3. Систему длительной непрерывной высокопрофессиональной подготовки полиграфологов: 8 очно-заочных этапов, рассчитанных на 4 года, с последующими ежегодными краткосрочными семинарами для поддержания профессионального мастерства.

4. Систему бесплатного дистанционного консультирования выпускников по всем аспектам проведения с использованием полиграфа расследований и сложных скринингов работающего персонала.

5. Систему постоянного контроля качества работы полиграфологов и их ответственность за сделанные выводы, особенно при нарушении Стандарта проведения исследований. Эта система также является формой обучения.

Этот процесс нами был завершен еще в 2010 году. Мы были единственными в России, да и, пожалуй, остаемся ими, кто так основательно подошел к созданию не только отбора, но и научно-обоснованной системы обучения в области полиграфа, завязанной на контроль и ответственность за результаты работы выпускников. За неоценимый вклад в создание «Комплексной методики…» СПб ШДЛ

Надо отметить, что единую, именно научно-обоснованную методику обучения только в конце 2015 года, наконец-то, выпустила Национальная Школа детекции лжи (Москва) и только благодаря назначению ее ректором Александра Борисовича Пеленицына, который и создал этот единый стандарт для НШДЛ. Кроме того, НШДЛ создает очень интересный портал для дистанционной поддержки своих выпускников, к сожалению платный.

Наработки СПб ШДЛ могут лечь в основу создания выверенных, научно-обоснованных стандартов для всех федеральных полиграфологов, работающих в государственных учреждениях и полиграфологов, работающих в бизнесе.

Вся эта работа нами проводилась в отсутствии нормативно-правовой базы, организационных и методических проблем, отсутствием правильной процедуры рассмотрения в суде, засильем невежественных низкосортных курсов, школ, академий, выпускающих сотни безграмотных полиграфологов. Это все создавало жесткую конкурентную среду. Но жизнь показала, что нами был выбран единственно правильный путь – качественно подготовленный специалист должен быть все-таки востребован. Именно такой профессионал всегда будет соблюдать права любого гражданина России и не навредит ему своими безграмотными и невежественными действиями.
 

Свяжитесь с нами в мессанджерах или по телефону.

whatsapp telegram viber phone phone
+79214188555

Матушкин Андрей Николаевич

Президент IAPD
Команда форума
Приватный уровень доступа
Действительный члены НП "МОД"
Регистрация
1 Январь 1970
Сообщения
22.017
Реакции
3.769
Баллы
113
Возраст
53
Адрес
Россия,
Веб-сайт
o-d-b.ru
ЧТО НАДО ЗНАТЬ О ТАК НАЗЫВАЕМЫХ «ДЕТЕКТОРАХ ЛЖИ ПО ГОЛОСУ»

В последние 35 лет с завидной постоянностью на рынке услуг по детекции лжи под разными названиями, но всегда с ореолом "научности" и таинственности появляются приборы, позиционирующие сами себя как "анализаторы стресса в голосе". Сотрудники служб безопасности, коммерсанты разного уровня, да и просто обыватели, не имея достаточной профессиональной подготовки для того, чтобы оценить истинную суть этих устройств, под воздействием рекламы активно покупают их, чтобы потом убедиться в их полной бесполезности и неспособности решать интересующие задачи. В интернете по адресу https://gdata-python-client.googlecode. ... .18.tar.gz размещена статья из американского профессионального журнала Polygraph под названием "Детекция Лжи", в которой, в том числе, говорится о полной неэффективности анализаторов голоса. Однако, учитывая важность вопроса, мы решили чуть шире раскрыть данную проблему.

Прежде всего, чтобы лучше понять, что это за приборы, сделаем небольшой экскурс с комментариями в историю его создания. Начнем с того, что в 1970 г. два американца - полковник в отставке Чарльз МакКвистон (Charles R. McQuiston), бывший армейский оператор полиграфа, и Аллан Белл (Allan D. Bell), бывший сотрудник армейской разведки, организовали в штате Вирджиния фирму "Dektor Counterintelligence and Security, Inc.", которая начала выпускать анализаторы психологического стресса PSE (Psychological Stress Evaluator) и обучать в течение 5 дней операторов для работы на них. В 1972 г. они подали заявку и 20 июля 1976 г. получили патент (№ 3,971,034) на свой прибор. Несколько позднее некто Фред Фуллер разработал аналогичный прибор, который получил название анализатора стресса в голосе VSE (Voice Stress Evaluator). Он, якобы, был основан на том же самом психофизиологическом принципе, что и PSE. Утверждалось, что эти и подобные им приборы (Mark-II, ESM, Hagoth и др.) в отличие от полиграфа способны устанавливать неискренность без подключения к телу человека датчиков, а путем измерения изменений в голосе, обусловленных стрессом, который сопровождает ложные высказывания. В ходе процедуры проверки, напоминающей испытание на полиграфе, в том смысле, что проверяемому задаются нейтральные, проверочные и контрольные вопросы, производится звукозапись его ответов. По утверждению авторов такой опрос, якобы, можно было проводить даже по телефону. Например, работник кадрового аппарата мог задать кандидату на работу ряд заранее подготовленных вопросов, а потом проанализировать звукозапись ответов на них и получить сведения о степени искренности кандидата..

Хотя еще МакКвистон и Белл утверждали, что предложенная ими процедура вряд ли будет надежной, если в ней не будет использоваться формат метода с контрольными вопросами, многие производители и тем более потребители подобных анализаторов голоса использовали их без учета данного требования. Если бы за прошедшие 35 лет были действительно получены неопровержимые доказательства того, что данный метод обладает декларируемой высокой точностью и надежностью, то он несомненно уже давно стал бы эффективным диагностическим средством в самых различных областях человеческих отношений, включая бизнес и международные переговоры. Однако таких убедительных доказательств так и не появилось.

Суть работы анализаторов стресса в голосе объяснялась следующим образом. В процессе анализа звукозаписей речевых высказываний с помощью прибора якобы

выделяются не воспринимаемые на слух акустические характеристики голоса, обусловленные стрессом. В частности, производители PSE утверждали, что этот прибор измеряет низкочастотную (около 10 ГЦ) модуляцию частоты основного тона голоса, обусловленную тремором мышц. Действительно, английским физиологом Липпольдом в свое время было показано, что в состоянии полного расслабления и покоя скелетные мышцы испытывают миографический тремор (микровибрацию) с частотой около 10 сокращений в секунду. В состоянии психофизиологического возбуждения этот тремор ослабевает или исчезает совсем. Суть теории, лежащей в основе приборов типа PSE, заключается в том, что мышцы горла, глотки и дыхательная мускулатура также (должны быть) подвержены этому тремору, который модулирует (накладывается на) речевой сигнал. Причем голос человека в спокойном состоянии будет характеризоваться максимальной представленностью этого частотного компонента, а при стрессе его выраженность будет минимальной. Однако, в прямых миографических экспериментах это явление в указанных мышцах обнаружено не было, так же как не было убедительно технически доказано, что PSE, VSE и им подобные устройства действительно измеряют степень низкочастотной модуляции речевого сигнала.

В своем рекламном обзоре практического использования анализаторов голоса PSE МакКвистон указывал, что в более чем 10000 случаев его применения не было допущено ни одной ошибки, а в 5574 случаях совместного использования PSE и полиграфа наблюдалось 99,85%-ое совпадение заключений. Очевидно, что подобные декларативные заявления не имеют никакой практической ценности, так как валидность и эффективность любого диагностического метода или прибора должна оцениваться с соблюдением необходимых требований научной методологии. К тому же в двух приведенных выше цифрах уже заложено серьезное противоречие, указывающее на небрежное и поверхностное отношение автора к проблеме точности и надежности своего детища. Если точность PSE действительно совпадает с точностью полиграфа (на 99,85%), а точность последнего, как известно, где-то около 90% (по крайней мере, заведомо не 100%), то непонятно, каким же образом в 10000 случаев не было получено ни одного ошибочного заключения тогда, когда их должно было быть около 1000.

Но это все рассуждения. А вот каковы результаты независимой оценки точности этих приборов. Еще в 1974 году в ходе специальных слушаний в конгрессе США по вопросу использования полиграфа и аналогичных устройств федеральными ведомствами были представлены многочисленные данные о низкой надежности анализаторов PSE [J. Kubis, Polygraph, 1974, 3, 1-47; G. Barland, J.Acoust.Soc.Amer., 1974, 55, 423] и было принято законодательное решение, запрещающее их использование в государственных учреждениях. Исследования эффективности анализаторов голоса, проведенные в армии США, показали, что с их помощью правильные результаты получаются только в 1/3 случаев, то есть диагностика осуществляется на уровне ниже, чем случайное угадывание [G. Barland, Polygraph, 1978, 63, 338-344] (Кстати, G. Barland был первым директором нынешнего Института Полиграфа МО США). Аналогичный вывод о низкой эффективности приборов PSE и VSE в выявлении искренности или неискренности был получен и в Агентстве Национальной Безопасности, которое, однако, порекомендовало попробовать их возможности в других областях, где возникает необходимость дистанционной оценки состояния стресса. В 1978 году во время очередных слушаний в Конгрессе США были представлены новые результаты исследований анализаторов голоса, проведенные Бреннером и Брэкскомбом в университете штата Орегон и в Массачусетском технологическом институте, соответственно [M.Brenner, H.Branscomb, G.Schwartz, Psychophysiology, 1979, 16, 351-357]. По полученным ими данным анализатор типа PSE

действительно может выявлять состояние стресса по изменению определенных акустических характеристик речевого сигнала, однако эти приборы характеризуются серьезными техническими недостатками, приводящими к низкой воспроизводимости (надежности) получаемых с их помощью результатов. В частности, их показания сильно зависят от качества звукозаписи и произвольного изменения своего голоса диктором.

Ф.Хорват, известный в США специалист в области полиграфа, провел сравнительное исследование эффективности анализатора PSE и электрокожной (КГР) реакции в условиях лабораторного теста, в ходе которого выявлялось скрываемое проверяемым число. Точность диагностики с помощью PSE составила всего 38%, что было даже ниже уровня случайного угадывания (равного примерно 50%), тогда как точность выявления скрываемой цифры на основе электрокожной реакции была 92% [F.Horvath, Journal of Applied Psychology, 1978, 63, 338-344 и 1979, 64, 323-330]. Последующие исследования Дж. Кубиса также показали, что наибольшей эффективностью в выявлении лжи обладает контактный полиграф, затем следует анализ признаков невербального поведения, а анализаторы голоса дают наихудшие результаты. В контролируемом эксперименте они практически не были способны различать лиц, совершивших кражу, ее свидетелей и совершенно непричастных к ней лиц. Японский специалист в области полиграфа Сузуки провел акустический анализ частоты основного тона, интенсивности и временных характеристик 75 ответов на релевантные вопросы в ходе реальных уголовных расследований. Ни один из параметров не дал точности диагностики выше, чем уровень случайного угадывания, из чего был сделан вывод о ненадежности и бесполезности анализаторов голоса в проверочных мероприятиях.

Такова история, которая, к сожалению, мало чему научила настоящее. Судя по всему, эти приборы еще долго будут кормить тех, кто их производит и ими торгует. Примечательно в этом плане высказывание руководителя фирмы, выпускавшей анализатор голоса Hagoth. На вопрос корреспондента одной американской газеты – "Так работает все-таки ваш прибор или нет?" он ответил – "Конечно! Если не верите, посмотрите на мой счет в банке". После таких циничных заявлений, становится понятным что все анализаторы голоса, в каких бы видах и упаковках они не выпускались, оказываются сродни таким мошенническим брэндам, как Гербалайф, Кремлевская таблетка или Циркониевый браслет. Бороться с заблуждением потребителей путем обращения к их разуму невозможно – каждый хочет сначала потратить деньги, а уж потом убедиться в обмане производителей и продавцов на самом себе. Это их право.

Если же обратиться к компьютерным анализаторам стресса в голосе (Computer Voice Stress Analyzers – CVSA), которые в последнее время все больше наводняют низко требовательный российский рынок, и, не вдаваясь в существо этих приборов, уже описанное выше, посмотреть хотя бы прилагаемые к ним инструкции, то сразу поражает низкое качество их содержания. Важные психофизиологические представления изложены примитивно, на уровне домашней хозяйки и, в значительной мере, просто неправильны. Содержательные ошибки можно встретить в каждом абзаце. Материал эклектичен, все мешается в одну кучу. Предлагаемые методики применения прибора представляют собой грубый, с плохим переводом и искажениями перенос типичной процедуры обследования с использованием контактного полиграфа даже без попыток ее адаптации к условиям "бесконтактности" (чего только стоит одна фраза "…ступни ног должны плоско стоять на полу" (?), встречающаяся в одной из таких инструкций).

Несмотря на огромные по объему тексты инструкций по применению анализаторов голоса в них практически нет информации о том, какие же

психофизиологические явления и закономерности положены в основу действия этих приборов помимо того, что почти дословно повторяются высказывания самых первых разработчиков, приведенные выше. А ведь эта информация исключительно важна, для того, чтобы понимать, какие методические требования, условия и почему нужно соблюдать, для того, чтобы получать максимально валидные результаты и контролировать их качество. К сожалению, этого нет. Совершенно неубедительно также выглядят попытки введения сегодняшними авторами собственных определений психологических и психофизиологических понятий и их классификации. Зато вместо нормального изложения содержательной части метода огромное внимание (львиная доля текстов) уделено мелким и второстепенным деталям работы с программным обеспечением, которые и без того очевидны любому современному человеку, знакомому с компьютером. Это известный прием, который используется для того, чтобы усилить видимость научности и сложности проблемы, решаемой с помощью компьютерных технологий.

Поскольку приводимый здесь материал предназначен для специалистов, большинство из которых является российскими полиграфологами, необходимо знать, как относятся к рассматриваемой проблеме не отдельные авторы, а наиболее уважаемые в мире и компетентные профессиональные организации в области детекции лжи. Без колебаний мы можем назвать две из них – это Американская Ассоциация Полиграфа (АРА) и Институт полиграфа Минобороны США, позиция которого формирует принципы использования полиграфа и других средств детекции лжи во всех федеральных ведомствах США. Так вот, обе эти уважаемые организации совершенно однозначно и без каких либо "если", на основании всех проведенных исследований, признают все без исключения анализаторы стресса по голосу, включая самый последний вариант CVSA, не эффективными и не допустимыми для практического использования из-за своей низкой точности и надежности. Руководство этих организаций обращается с просьбой к специалистам в области детекции лжи во всем мире, используя свои профессиональные знания, разъяснять псевдонаучную сущность этих анализаторов и всеми силами противодействовать подмене сложной психофизиологической процедуры выявления лжи использованием подобных "игрушек", совершенно для этих целей не пригодных.

И наконец, последние данные из США на конец 2005 года. Отношение к анализаторам голоса, как приборным, так и компьютерным в серьезных кругах США продолжает оставаться негативным, особенно когда идет речь о возможной замене ими в перспективе полиграфа. Признается, что, прежде всего, благодаря агрессивной маркетинговой политике и откровенной ЛЖИ со стороны производителей и продавцов этих приборов, они получили достаточно широкое распространение в полицейской практике в большинстве штатов США. Другая причина "опухолевого роста" их численности – полное научное невежество полицейских и пассивная позиция федеральной власти, которая, будучи предупрежденной Американской ассоциацией полиграфа и Институтом полиграфа Минобороны, так вовремя и не пресекла это псевдонаучное изделие.

В настоящее время использование голосовых анализаторов запрещено во всех федеральных ведомствах и в 9 из 50 штатов, а именно:

* Иллинойс

* Оклахома

* Мичиган

* Техас

* Вермонт

* Виржиния

* Южная Каролина

* Кентуки

* Северная Дакота

Еще в нескольких штатах рассматривается вопрос о запрете этих приборов. В остальных же штатах их применение не то, что разрешено, но просто никак не регламентировано. Кроме того, в соответствии с федеральными положениями о "Равных правах при найме на работу" и "Требованиям к процедурам отбора при найме на работу" голосовые анализаторы запрещено использовать при оценке кандидатов на работу. Таким образом, анализаторы голоса "успешно" применяются только на уровне местных полицейских участков по их собственной инициативе без какого-либо централизованного регулирования этого процесса. Кроме того, по имеющимся на сегодняшний день сведениям, подписание Президентом Бушем директивы № 1447 о "Мерах безопасности на авиационном транспорте", которая разрешала Министру транспорта среди прочих мер обеспечения безопасности использовать "компьютерные анализаторы голоса", развития не получила по описанным ниже причинам. (А ведь кто-то в очередной раз очень хотел нажиться на трагедии "11 сентября").

В отличие от полиграфа, эффективность и валидность использования которого, подтверждена многочисленными адекватными научными исследованиями, хотя и не показавшими его 100 и даже 98%-ой точности, эффективность и валидность голосовых анализаторов НИКОГДА ПОКАЗАНА и ДОКАЗАНА НЕ была. Напротив, абсолютное большинство всех серьезных исследований (а их за 30 лет было несколько десятков, включая и российские) показало, что точность этих приборов находится на уровне СЛУЧАЙНОГО УГАДЫВАНИЯ и даже хуже. Постоянные заявления производителей и продавцов анализаторов голоса о том, что их изделия работают со 100%-ой точностью, являются ЛОЖЬЮ, поскольку сегодня и школьнику понятно, что применительно к человеку В ПРИНЦИПЕ не возможно иметь процедуры, имеющие 100%-ю точность.

По результатам фундаментального анализа, который в 2003 г. провел по заданию Конгресса США Национальный Совет по исследованиями (National Research Council) в отношении научной обоснованности использования полиграфа и других методов оценки достоверности показаний, выдвинут однозначный вывод – нет ни одного научного доказательства того, что голосовые анализаторы имеют хоть какое-то научное обоснование и могут использоваться на практике. Этот вывод еще раз подтвердил позицию Американской ассоциации полиграфа (АРА), а также авторов данной статьи.

Но наибольшую ценность представляют многочисленные практические исследования этого вопроса, выполненные в Институте полиграфа Минобороны США (DoDPI). Почти десяток таких исследований завершился в 2002 – 2003 г.г. Все они с потрясающей убедительностью показали, что все коммерческие анализаторы голоса не обладают необходимой валидностью и не могут даже близко рассчитывать на то, чтобы заменить собой полиграф. При этом важно подчеркнуть, что никто не отрицает, что эти приборы с той или иной степенью точности способны определять наличие у человека сильного стресса по изменениям в голосе, но в практическом плане они НЕ ПРИГОДНЫ для инструментальной детекции лжи.

И, наконец, последнее. В декабре прошлого года АРА обратилась с открытым письмом в NITV (National Institute of Truth Verification – Национальный Институт Выявления Истины – самый крупный поставщик компьютерных анализаторов голоса на американском рынке; производит прибор CVSA – Computerized Voice Stress Analyzer – Компьютерный анализатор стресса по голосу, наиболее активно потребляемый полицией США), в котором официально заявила, что данные о высокой точности анализатора CVSA абсолютно не подтверждаются независимыми экспериментальными исследованиями и, по сути, являются прямой подтасовкой и научным мошенничеством. АРА попросила дать официальный открытый письменный

ответ на свое письмо. До сегодняшнего дня ответ из NITV так и не поступил. Кроме того, NITV отказался предоставить экземпляр своего анализатора голоса CVSA Национальному институту юстиции США (NIJ – National Institute of Justice), который намеревался провести собственное исследование точности этого прибора и хотел для этого иметь достоверно работающий экземпляр, эффективность которого гарантировалась бы самим производителем. Авторы настоящей статьи полностью разделяют данную позицию Американской Ассоциации Полиграфа и Института полиграфа МО США. Так что в США мошенников понемногу прижимают.

30 марта 2006 г. Агентство "abc-NEWS" опубликовало 3-х страничное сообщение, согласно которому ему удалось добыть в Министерстве обороны США результаты последнего исследования, из которого следует, что широко используемые полицией США (около 1500 полицейских участков) и военной полицией анализаторы голоса работают не лучше "подбрасывания монеты", то есть на уровне случайного угадывания. В сообщении приводятся сведения о том, что несколько террористов были ошибочно освобождены после того как они прошли тест с использованием этого прибора. В сообщении также говорится, что во время одного из судебных процессов против NITV в связи с фатальными ошибками, допущенными вследствие применения выпускаемого им прибора CVSA, один из топ-менеджеров этой компании производителя признался, что анализатор голоса не способен отличать ложь от правды. Также со ссылкой на официальных лиц утверждается, что популярность этого прибора в полиции США связана, прежде всего, с тем, что с его помощью легко "выколачиваются" признания из подозреваемых. Именно это они считают его главным достоинством (никакой психофизиологии и науки).

Далее сообщается, что в судах США судьи все чаще с гневом отметают доказательства, предъявляемые полицией на основе использования анализаторов голоса, называя их научно не обоснованными. Дополнительный скандал связан с тем, что глава NITV Д-р Чарльз Хамбл (см. фото), на самом деле не имеет никакой докторской диссертации, и сам себе присвоил эту степень (подтвержден факт подделки им диплома Доктора психологии) по "маркетинговым" соображениям. Благодаря этому приему (всего две буквы перед фамилией) прибыль компании превысила миллион долларов.

По утверждению Роберта Рогальского (Robert Rogalski), заместителя министра обороны США по контрразведке, масштабное и тщательное исследования, проведенное только что по заданию Пентагона (именно его результаты раздобыли репортеры abc-NEWS), показало "полное отсутствие связи между показаниями анализаторов голоса и реальным наличием или отсутствием лжи и стресса".

"Нам нужна более надежная техника, чем просто подбрасывание монеты" – заявил Рогальский и выразил беспокойство по поводу того, что из-за ошибок этого прибора в Багдаде были отпущены на свободу несколько террористов.

В настоящее время Пентагон запретил использовать анализаторы голоса в своем ведомстве.

В 2006 году Суджита Бхати и Сьюзан Е. Брэндон представили работу "Исследование технологий, основанных на анализе стрессовых изменений голоса, для обнаружения обмана" в Министерство обороны США. Они изучили 24 эмпирических исследования, которые были проведены за период более 30 лет, и сделали вывод о том, что эти исследования не давали подтверждения правильности или надежности технологий, основанных на анализе стрессовых изменений голоса, для обнаружения обмана. Для этих исследований применялся Многослойный анализ стрессовых изменений голоса (LVA), Компьютеризированный анализ стрессовых изменений голоса (CVSA), Оценка психологического стресса (PSE), "Vericator", "Diogenes", Анализатор голоса Mark II и Анализатор стрессовых изменений голоса (VSA).

Ниже приводится частичный список исследований в области стрессовых изменений голоса при обнаружении обмана и их результаты:

П. Дэмпхаус, М. Апчерч, "Оценка достоверности инструментов анализа стрессовых изменений голоса в условиях тюрьмы", Департамент лечения наркотической зависимости и психических расстройств штата Оклахома, 2007. Вывод: Тесты LVA и CVSA характеризуются низкой достоверностью в обнаружении обмана - базовая точность составила 68%.

Г. Холлиен, Оценка работы анализатора стрессовых изменений голоса, Университет Флориды, 2006. Вывод: Тесты LVA и CVSA характеризуются низкой достоверностью в обнаружении обмана. Точность LVA составляет ниже случайной; точность CVSA была немного выше случайной.

Кэссиди, Оценка протоколов задачи вопросов при выявлении обмана за счет анализа голоса, 2006. Вывод: Точность CVSA составляет меньше случайной.

М.Дж. Джанниро, В.Л. Сестаро, "Эффективность исследований на обнаружение обмана с использованием Компьютеризированного анализатора стрессовых изменений голоса (DoDPI95-P-0016). Институт полиграфологов Министерства обороны, Форт Макклеллан, штат Алабама, 1996. DTIC AD номер A318986. Вывод: Уровень точности обнаружения обмана при помощи CVSA в качестве устройства для измерения уровня стрессовых изменений голоса соответствовал случайному.

В.Л. Сестаро, Сравнение между точностью решений, полученных с использованием полиграфа и Компьютерного анализатора стрессовых изменений голоса (CVSA) в отсутствиеопасности (DoDPI95-R-0002). Институт полиграфологов Министерства обороны, Форт Макклеллан, штат Алабама, 1995. Вывод: Точность CVSA незначительно превышала случайную.

Д. О'Хайр, М.Дж. Коуди, С. Ванг, Е.И. Чао, Стрессовые изменения голоса и обнаружение обмана у китайцев, "Communication Quarterly" 38 (2) (весна) (1990) 158ff. Вывод: Частичное воспроизведение предыдущего исследования. Баллы за голос не были связаны с обманом.

Х. Холлиен, Л. Гейсон, Дж.У. Хикс Дж., Анализ стрессовых изменений голоса и обнаружение лжи, "Журнал следственных наук" 32 (2) (1987) 405–418. Выводы: Уровень обнаружения стресса соответствует случайному. Уровень обнаружения лжи соответствует случайному.

Р.Ф. Валн, Р.Г. Дауни, "Анализ стрессовых изменений голоса: применение телефонных записей", "Журнал бизнеса и психологии", 1 (4) (1987) 379–389. Вывод: Методология определения стрессовых изменений голоса не показала достаточной надежности, которая бы оправдывала ее использование в качестве процедуры отбора при приеме на работу.

Д. О'Хайр, М.Дж. Коуди, Р.Р. Бенке, Страх общения и стрессовые изменения голоса как свидетельства обмана, Западный журнал речевой коммуникации, 49 (1985) 286–300. Выводы: Только в одной подгруппе коэффициент обнаружений оказался гораздо лучше случайного, и отличие было самым минимальным. Применение в этом исследовании спорных статистических методов предполагает, что скромные положительные результаты не будут воспроизведены в другом исследовании. См. следующую цитату.

Б.Ф. Фуллер, Надежность и достоверность интервальной меры голосового стресса, "Психологическая медицина" 14 (1) (1984) 159–166. Вывод: Достоверность измерений уровня голосового стресса оказалась низкой.

Х.В. Тимм, Эффективность прибора для оценки уровня психологического стресса при обнаружении обмана, Журнал теории полицейской службы и администрации 11 (1) (1983) 62–68. Вывод: Уровень обнаружения лжи соответствует случайному.

М. Бреннер, Х. Бранскомб, Г.Е. Шварц, Прибор для оценки психологического стресса: два теста голосового измерения, Психофизиология 16 (4) (1979) 351–357. Вывод: "Достоверность анализа для целей практического обнаружения лжи спорна."

Персонал отдела исследований DoDPI, Дж.Л. Мейерхофф, Г.А. Савиолакис, М.Л. Кёниг, Д.Л. Юрик (в прессе). Физиологические и биохимические измерения стресса в сравнении с анализом стрессовых изменений голоса при помощи Компьютерного анализатора стрессовых изменений голоса (CVSA) (DoDPI01-R-0001). Институт полиграфологов Министерства обороны. Вывод: Прямой тест CVSA по медицинским маркерам стресса (давление крови, содержание кортикотропина в плазме, содержание кортизона в слюне) показал, что эксперты CVSA не могли определить известный стресс. Этот проект реализовывался совместно с Военным исследовательским институтом Уолтера Рида.

Ф.С, Хорват, Влияние различных мотивационных инструкций на обнаружение обмана прибором для оценки психологического стресса и по гальванической реакции кожи, "Журнал прикладной психологии" 64 (3) (июнь) (1979) 323–330. Вывод: Стрессовые изменения голоса не привели к обнаружению обмана в степени, превышающей случайную.

Б.Е. Линч, Д.Р. Генри, Исследование достоверности прибора для оценки психологического стресса, Канадский журнал поведенческих наук 11 (1) (1979) 89–94. Вывод: Обнаружение стресса при помощи голоса на уровне случайного.

Ф.С, Хорват, Экспериментальное сравнение прибора для оценки психологического стресса и гальванической реакции кожи при обнаружении лжи, "Журнал прикладной психологии" 63 (3) (июнь) (1978) 338-344. Вывод: Уровень обнаружения лжи соответствует случайному.

Дж.Ф. Кубис, "Сравнение анализа голоса и полиграфа как процедур для обнаружения лжи (Технический отчет №. LWL-CR-03B70, Договор DAAD05-72-C-0217), Лаборатория по проблемам наземных боевых действий Вооруженных сил США, Опытный полигон Абердин, штат Мэриленд, 1973. Вывод: Уровень обнаружения лжи анализом голоса соответствует случайному.

А. Сузуки, С. Уотанаби, И. Такено, Т. Косуги, Т. Касуя, "Возможность обнаружения обмана путем анализа голоса", Отчеты Государственного исследовательского института полицейских наук 26 (1) (Февраль) (1973) 62–66. Вывод: Изменения голоса оказались не надежными и не эффективными.

Вероятно, такие выводы следовало ожидать. Стрессовые изменения голоса - это инструмент, определяющий один параметр, в то время как полиграф определяет три параметра. Если бы мы взглянули на любой отдельный компонент полиграфа, мы бы обнаружили, что его точность не сравним а с точностью, достигаемой за счет синергии трех параметров.

Есть некоторые правоохранительные органы, которые используют анализ стрессовых изменений голоса в качестве инструмента для определения правды. К сожалению, это скорее неверное финансовое решение, нежели осознанный выбор. Обучение определению стрессовых изменений голоса занимает 5 дней. Чтобы научиться использовать полиграф нужно как минимум 10 недель. Кроме того, эти органы сообщают о том, что применение анализа стрессовых изменений голоса привело к увеличению количества информации и признаний. Мы уверены в том, что это утверждение - правда. Однако если это единственная цель, мы предлагаем им присоединить провода от подозреваемого к копировальному аппарату, внутри которого будет листок с надписью "Это ЛОЖЬ!" Полученные в результате этого признания будут тем же. Это относится к полезности теста, а не к точности. С Чарльзом Хамблом, президентом Национального института подтверждения правды, который производит CVSA, состоялось интервью в одном из центральных телевизионных шоу [2]. Во время интервью Хамбл признал, что не было никакого научного исследования, которое подтверждало бы достоверность CVSA, только отчеты о практическом использовании от правоохранительных органов, применяющих этот прибор. Он также заявил о том, что получил ученую степень по психологии после 6 часов корреспондентного обучения в области религии в школе, расположенной в том же здании, что и его компания. К сожалению, несмотря на то, что в применении устройств анализа стрессовых изменений голоса для получения информации и признаний существует практическая ценность, если будущее подозреваемого или претендента на работу решается на основании точности собранных данных стрессового изменения голоса, то это обман!

В качестве примера можем привести распространяемую в Санкт-Петербурге систему кадровой проверки «К-Фактор» (HR) израильской компании «Nemesysco» основанную на использовании технологии LVA (многоуровневого анализа голоса). На основании анализа истинности (ложности) сведений, сообщенных тестируемым, система определяет наличие факторов риска в его поведении и дает прогноз их возможного проявления в будущем. По заявлению разработчиков «К-Фактор» определяет риск по следующим темам:

- честность и лояльность к компании;

- отношение к конфиденциальной информации и секретности;

- добросовестность и профессиональная честность;

- работа в команде;

- хищение у работодателя;

- склонность к взяточничеству;

- мошенничество и лживость;

- склонность к употреблению наркотиков;

- отношение к употреблению алкоголя и пьянству;

- отношение к азартным играм и т.д.

Тест по каждой теме содержит от шести до восьми вопросов. Задаваемые вопросы касаются отношения тестируемого к исследуемой теме, совершение им конкретных действий или возможность совершения действий в рамках рассматриваемой темы. При этом тестируемому предоставляется полная свобода при ответах на предъявленные вопросы. Какого-либо специального обучения персонала работающего с системой не проводится. Осуществляется лишь 15 минутный

инструктаж. Отчет с результатами получается сразу после окончания тестирования, после обработки компьютером и не требует дополнительной расшифровки. Он содержит оценки риска в процентах (низкий, средний, высокий) по темам тестов. Например:

- заявленная квалификация – риск низкий (т.е. в ходе теста не выявлено лжи, неуверенности при ответах на вопросы, связанные с образованием, предыдущим опытом работы, с оценкой профессиональной квалификации);

- лояльность по отношению к компании – риск высокий (т.е. в ходе теста, при ответах на вопросы, связанные с лояльностью, параметры характеризующие реакции, достигли пороговых значений);

- склонность к взяточничеству и протекционизму – риск высокий (т.е. в ходе теста параметры, характеризующие реакции при ответах на вопросы, связанные с темой взяточничества, достигли пороговых значений).

Разработчики утверждают, что преимущества «К-Фактор» перед другими системами (тесты интеллекта, тесты профессиональной пригодности, личностные опросники), применяемыми при тестировании кадров, заключаются в следующем:

- нет возможности подготовиться к тесту при повторном тестировании,

- не существует специальных тренингов по подготовке к тестированию,

- тестируемый не может управлять параметрами оценки результатов теста,

- нет ограниченного набора вариантов ответов на вопросы,

- исключено влияние сотрудника, проводящего тест, на тестируемого, а так же исключен возможный субъективизм в оценках эксперта,

- сообщение тестируемым ложных сведений не влияет на результат.

По их мнению «К-Фактор» избавлен от недостатков, присущих другим системам тестирования, так как оценивает не содержательную сторону ответа, а психоэмоциональные реакции в ходе теста, которые отражаются в его речи.

Однако реальная польза от проведения подобных тестирований в кадровой работе может быть незначительна. Выдаваемая интегральная оценка риска по данной теме непонятно на чем основывается, то ли на сокрытии информации о уже совершенных или планируемых действиях, то ли на повышенной значимости темы как таковой для данного тестируемого. Дело в том, что значимость темы может быть связана не только со склонностью к нарушениям со стороны тестируемым в данной сфере, но и с множеством других причин, что приведет к появлению психоэмоциональных реакций в ходе тестирования. Но так как из оценки не ясно, в связи с каким вопросом возникли данные реакции, то соответственно нет никакой возможности уточнить это. Таким образом повышается вероятность ложноположительных выводов, и методика в целом может страдать обвинительным уклоном.

Так как никоим образом не анализируется содержательная сторона ответов, то тестируемый может говорить и не на требуемую тему, что соответственно не приведет к появлению психоэмоциональных реакций, связанных с данной тематикой.

В целом после проведения подобного тестирования руководители имеют набор рисков, не связанных с какой-либо конкретной информацией. В то время как, при проведении скрининговой проверки на полиграфе имеется заключение по подобным факторам риска, основанное на конкретной информации, полученной от тестируемого, а также сокрытии информации по вполне конкретным вопросам. Отсюда возникает и вопрос ответственности, а также и законности, при принятии решения на основании данных подобного тестирования, так как неясно с какими именно моментами в ответах тестируемого связан выявленный уровень риска.

Мы предложили представителям данной фирмы провести сравнительный анализ эффективности работы контактного полиграфа и предлагаемой ими технологии. Однако пока наше предложение не получило ответа.

Так же нами была проведена трехлетняя работа по сопоставлению достоверности получаемой информации при помощи контактного полиграфа и более серьезного речевого анализатора стресса, реализуемого одной из московских коммерческих фирм. По этическим соображениям я не указываю марку прибора и фирму. Совпадение полученной на данных приборах информации составило 33%. Следует отметить, что информация, полученная при помощи контактного полиграфа подтверждалась признаниями опрашиваемого по тем или иным выявленным «факторам риска», а данные на анализаторе стресса не показывали наличия реакций, свидетельствующих о лжи, причем при развернутых ответах на данные темы.

Исходя из вышеизложенного каждому хотим посоветовать задуматься, прежде чем тратить деньги и немалые на приобретение так хорошо рекламируемых речевых «детекторов лжи». Или купить данный прибор, поработать на нем и убедиться в вышеизложенном нами или опровергнуть нас.

А. А. Степанов, Руководитель СПб Школы детекции лжи (г.Санкт-Петербург)
А. Б. Пеленицын, Ректор АНО ДПО «ЦПП», кандидат биологических наук (г.Москва)
 

Свяжитесь с нами в мессанджерах или по телефону.

whatsapp telegram viber phone phone
+79214188555

Плотников Юрий Михайлович

Приватный уровень доступа
Действительный члены НП "МОД"
Регистрация
21 Июль 2010
Сообщения
3.699
Реакции
563
Баллы
113
Возраст
71
Адрес
Россия, Хабаровск. +7 914 544 16 90.
Веб-сайт
www.sysk-dv.ru
Спасибо!
 

Свяжитесь с нами в мессанджерах или по телефону.

whatsapp telegram viber phone phone
+79214188555

Детектив-Молдова

Вице-Президент IAPD
Приватный уровень доступа
Действительный члены НП "МОД"
Регистрация
24 Ноябрь 2010
Сообщения
2.002
Реакции
491
Баллы
83
Возраст
61
Адрес
Молдова, Кишинев, тел.(Viber): +37369270011
Веб-сайт
adp-dia.com
Объемный доклад и на 7-ой Конференции сопровождался ценным видео-материалом!
Огромное спасибо автору!
 

Свяжитесь с нами в мессанджерах или по телефону.

whatsapp telegram viber phone phone
+79214188555

Виктор Сергеевич

Приватный уровень доступа
Действительный члены НП "МОД"
Питерская секция IAPD
Регистрация
21 Май 2009
Сообщения
329
Реакции
38
Баллы
28
Возраст
60
Адрес
Россия, Санкт-Петербург, Московское шоссе, д. 13,
Веб-сайт
vimpel-ksp.ru
Андрей Александрович всегда интересный спикер.
 

Свяжитесь с нами в мессанджерах или по телефону.

whatsapp telegram viber phone phone
+79214188555

Сергей Анатольевич

Член Совета
Приватный уровень доступа
Действительный члены НП "МОД"
Питерская секция IAPD
Регистрация
22 Октябрь 2009
Сообщения
818
Реакции
112
Баллы
43
Возраст
64
Адрес
Россия, Санкт-Петербург. +7-921-900- 64-25
Веб-сайт
www.private-detective.ru

Свяжитесь с нами в мессанджерах или по телефону.

whatsapp telegram viber phone phone
+79214188555

Дмитрий Викторович

Член Совета
Приватный уровень доступа
Действительный члены НП "МОД"
Питерская секция IAPD
Регистрация
26 Октябрь 2009
Сообщения
592
Реакции
83
Баллы
28
Возраст
54
Адрес
Россия, Санкт-Петербург. Средний пр. 100. +7921949
Веб-сайт
www.iapd.info

Свяжитесь с нами в мессанджерах или по телефону.

whatsapp telegram viber phone phone
+79214188555

Николай Николаевич

Приватный уровень доступа
Действительный члены НП "МОД"
Питерская секция IAPD
Регистрация
17 Апрель 2014
Сообщения
571
Реакции
97
Баллы
28
Адрес
Санкт-Петербург. +7 921 658 76 87
Спасибо.
 

Свяжитесь с нами в мессанджерах или по телефону.

whatsapp telegram viber phone phone
+79214188555

До нового года осталось