Дефекты прикладной аналитики: понимание, превенция и аллевиация
Понкин Игорь Владиславович – доктор юридических наук, профессор кафедры государственного и муниципального управления Института государственной службы и управления РАНХиГС при Президенте РФ, профессор; Консорциум «Аналитика. Право. Цифра»".
Введение
Аналитики – это голос разведывательного сообщества. Роль аналитиков разведки заключается в том, чтобы сообщать политикам, что они знают, чего они не знают, что они думают и почему. [1, с. 388, 387].
Самая большая ошибка – воображать, что мы никогда не ошибаемся.
Томас Карлайл (цит. по: [2]).
Прикладная аналитика – это интеллектуальный процесс и связанная с ним сфера методов, технологий и инструментариев, посредством которых разнородная и разрозненная (необработанная) информация производно преобразуется в целостные и, главное, ценные (для потребителя) прикладные аналитические продукты (отчёты, доклады, прогнозы, ориентировки и проч.) [3; 4].
Аналитическая производительность (англ. – «analytic performance») практиков-аналитиков весьма неравномерна, неодинакова. Аналитическая производительность в очень существенной мере зависит от личной квалификации и степени личного мастерства, от талантов и способностей конкретного аналитика (и от коллективного мастерства и слаженности группы аналитиков при работе в таком порядке), от должной оснащённости (при необходимости) его рабочего места и его аналитической рабочей среды (англ. – «analytic work environment») средствами технического обеспечения (машинного языкового перевода, машинного интеллектуализированного поиска информации, машинной обработки больших данных, машинной визуализации аналитики, доступа к базам данных и т.д.), от адекватности и сообразности ставящихся ему задач его квалификации и специализациям, от условий его труда (в том числе – нормальной, а не переизбыточной его рабочей загруженности).
Эти вопросы невозможно полноценно рассматривать без обращения к тематическому горизонту контроля качества прикладной аналитики, в том числе к вопросам о видовом многообразии, сути, причинах и предпосылках (по крайней мере – распространённых) ошибок (в том числе «вероятных ошибок») и иных дефектов прикладной аналитики (франц. – «défauts dans l'analytique»; англ. – «analytics defects»), о способах их редуцирования и аллевиации (снижения остроты проблемы), а равно о способах предупреждения о них практиков-аналитиков.
Проблема дефектов в прикладной аналитике
Успех или, напротив, неудача в работе практика-аналитика в немалой степени зависит от надлежащего ви́дения (см.: [5]) мест, в которых более всего следует опасаться ошибок или иных дефектов прикладной аналитики, и способов их обнаружения ещё «на дальних подступах», от способности практика-аналитика ставить себе вопрос: «Что мы упускаем?» (см.: [6]) – и релевантно отвечать на него.
Согласно Вашингтону Плэтту, когда практик-аналитик «исходит из необоснованных предположений, использует непроверенные методы и легковесные заявления, часто на свет появляются внешне убедительные документы, ценность которых на деле является весьма сомнительной. Утверждения, из которых не видно, в какой мере мы уверены в их достоверности, часто вводят в заблуждение… Нередко, стремясь к “доскональности” и изучая всё подряд, мы уделяем так много времени сравнительно маловажным моментам, что лишаем себя возможности глубоко рассмотреть многие, в том числе наиболее важные аспекты поставленной задачи [7, с. 32, 149].
Существуют определённые детерминанты ошибок и иных дефектов в прикладной аналитике.
И сами дефекты аналитики весьма разнообразны и многообразны. Например, ошибки аналитики (франц. – «erreur analytique»; англ. – «analytical error», «analytics error») могут включать пре-аналитические ошибки (англ. – «preanalytical error»), собственно аналитические ошибки и пост-аналитические ошибки (англ. – «postanalytical error»).
К слову, встречаются статистические данные о том, что приблизительно 40 % ошибок (например, в лабораторной аналитике) является пре-аналитическими, 40 % – пост-аналитическими и только 20 % – собственно аналитическими. Впрочем, те же авторы замечают: «Кажется, что люди хотят верить, что аналитические ошибки встречаются не так часто, как пре-аналитические и пост-аналитические ошибки» [8].
Ошибки аналитики могут быть количественными и качественными. Ошибки аналитики могут быть исправимыми и неисправимыми, предотвратимыми и фатальными.
И всеми этими ошибками в аналитике надлежит заниматься.
Если конкретизировать, то в числе видов дефектов прикладной аналитики обоснованно выделить следующие (перечень – не исчерпывающий; приведены виды дефектов общим произвольным перечислением, без классифицирования по группам или ранжирования по каким-то основаниям):
– дефектность постановки аналитической задачи задающим её лицом и / или дефектность восприятия её аналитиком-исполнителем;
– дефектность аналитического поиска (см.: [9]) (дефекты определения направлений, горизонтов, створов и глубины поиска; сведение поиска лишь к поиску по ключевым словам без ранжирования по релевантности и/или без учёта дополнительных контекста, коннотации, дискурса, иная профанация надлежащего аналитического поиска);
– пропуск ложной информации как достоверной, а искажённой информации – как аутентичной;
– дефектность формулирования, «взвешивания» и селекции гипотез, ошибки оценки и отбора из числа альтернативных, конкурирующих вариантов решений и приоритетов;
– хроническая безрезультативность прикладных аналитических работ;
– отсутствие или критическая недостаточность аналитической гибкости, строгости, точности и определённости в прикладном аналитическом продукте; размытие фокуса аналитического ви́дения;
– дефектное расслоение аналитики (англ. – «defective layering of analysis») – на взаимно противоречащие результаты;
– подгонка выводов (идеологически или эмоционально мотивированная, или обусловленная групповым давлением коллег или в силу собственной некомпетентности аналитика); например – использование части данных для поддержки своей позиции (аргумента) в условиях, когда та же самая часть так же одновременно поддерживает и прямо противоположную позицию (аргумент), с игнорированием аналитиком этого факта;
– аналитическая непрозорливость, обусловленная неверным применением технологий предиктивной аналитики или аналитической незрелостью в части неспособности признать критические недостаточность и неопределённость имеющихся данных для производства прогнозов;
– критический пропуск сроков, запаздывание, обусловливающее существенно значимый разрыв между состоянием дел в текущей реальности и аналитическим образом, отражающим состояние дел в уже прошедшей реальности.
Указанные выше дефекты аналитики совершенно не обязательно связаны с низкой квалификацией и некомпетентностью практика-аналитика.
Вероятность неизбежных ошибок существенно зависит от сложности и истребуемых от аналитика скоростей производимых аналитических работ, от критической недостаточности, неполноты оперируемых данных.
Нередко это прямое следствие того, что практик-аналитик (вполне компетентный и добросовестный) просто редундантно (чрезмерно переизбыточно) перегружен объёмами массивов и потоков информации (буквально завален данными и бумагами с соответствующими его интеллектуальной и сенсорной перегрузками), а равно неадекватно и несообразно его возможностям перегружен заданиями (аналитическими задачами и соответствующими работами). И всё это на фоне дезинтегрированности (отсутствия скоординированности) аналитиков, привлечённых к решению общей задачи, и дефектов управления внутри аналитического подразделения. В таких ситуациях практика-аналитика могут просто вынудить пойти на фабрикацию выводов для «разгребания авгиевых конюшен» как снежный ком накапливающихся заданий.
По Аллену Даллесу, и наиболее подготовленные работники разведки допускают профессиональные ошибки, свидетельствующие, что и они не являются непогрешимыми [10, с. 192].
Как отмечал Вашингтон Плэтт, часто встречающаяся «ошибка состоит в том, что в какой-то определённый срок намечается выполнить больше работы, чем это можно сделать в действительности. Это приводит к так называемому “эффекту логарифмической линейки”. Допустим, что работа состоит из девяти частей, каждая из которых требует примерно равной затраты времени. Получается же так, что на выполнение первых частей работы приходится больше времени, а на завершение последующих частей времени остаётся всё меньше и меньше. Если изобразить ход выполнения такого задания графически, то получится нечто напоминающее шкалу логарифмической линейки (см. рис. 3)» [7, с. 55].
Соответственно, очень важно соблюдение требований соразмерности, сообразности постановки аналитических задач возможностям и способностям конкретного практика-аналитика, а свои пределы таковых есть даже у самого продвинутого в аналитическом мастерстве и искусстве, самого высококлассного аналитика (см. рис. 4).
Однако наиболее распространённая причина: именуемые аналитиками лица «привыкли вести дела по-другому», а предлагаемые им методы, технологии, инструментарии превенции и аллевиации дефектов в прикладной аналитике просто «не приживаются», ибо «не интересны», да и в принципе методами прикладной аналитики эти лица не владеют на надлежащем уровне.
Значение методологии для оперирования дефектами прикладной аналитики
Нередко причины могут быть ещё более глубинными и имплицитными.
Тем не менее, структурированные аналитические методы (англ. – «structured analytic techniques»), иные методы и инструментарии прикладной аналитики помогают практикам-аналитикам существенно редуцировать недостатки в познании, которые приводят к ошибочным рассуждениям [11, с. 1].
В любом случае, эти проблемы и их причины самопроизвольно и спонтанно не исчезнут, нужна методология превенции и аллевиации дефектности в прикладной аналитике.
Как пишет Майкл Коллиер: «У каждой профессии есть инструменты. Например, плотник использует молотки, пилы, дрели и рубанки – все они предназначены для выполнения чётко определённых функций. Фактическое содержимое набора инструментов плотника зависит от уровня его мастерства – с ростом опыта и подготовки плотнику требуются всё более сложные инструменты в его арсенале. Аналитики разведки, использующие прагматический подход, в каком-то смысле ничем не отличаются от них – им требуется разнообразный набор аналитических методов и инструментариев для выполнения поставленных перед ними задач по производству разведданных» [12]. То же касается и других направлений в прикладной аналитике.
По И.П. Павлову, «метод держит в руках судьбу исследования… От метода, от способа действия зависит вся серьёзность исследования. Всё дело в хорошем методе. При хорошем методе и не очень талантливый человек может сделать много. А при плохом методе и гениальный человек будет работать впустую и не получит ценных точных данных» [13, с. 23,21].
Как отмечали В.С. Степин и А.Н. Елсуков, всякая деятельность человека предполагает определённые пути и способы достижения поставленных целей. Для этого используются соответствующие приёмы, посредством которых решаются теоретические и практические задачи. Система таких приёмов образует метод деятельности. Исследовательский метод – это система регулятивных принципов и приёмов, с помощью которых достигается объективное познание действительности. Успех научного творчества во многом определяется правильностью выбранного пути, точностью самого метода исследования. Использование надёжных методов способствует более быстрому достижению положительных результатов. Опыт развития науки показывает, что метод исследования оказывается плодотворным тогда, когда он адекватен характеру исследуемого объекта и соответствует определённой стадии его изучения. Методы, успешные при изучении одних объектов, могут привести к неправильным результатам при их формальном переносе на исследование других объектов, или же методы, успешные на одной стадии исследования (например, при обработке данных наблюдений) не приводят к желаемым результатам на другой стадии (скажем, при построении теории) [14, с. 13–14].
Методология превенции и аллевиации дефектности в прикладной аналитике, в первую очередь, опирается на механизмы обратной связи.
«Обратная связь» фиксирует размерность соответствия готового (финально или этапно) прикладного аналитического продукта ожиданиям, запросам и требованиям конечного потребителя такого продукта, но так же способна вскрывать дефекты аналитики, позволяя определить, требуются ли дальнейшие сбор данных и их аналитическая обработка, требуется ли исправление допущенных ошибок и иных дефектов аналитики.
Ричард Пирс писал: «Лишь наиболее удачливым из нас выпадает возможность исправить ошибки прошлого» [15, с. 7]. Впрочем, в прикладной аналитике последовательное взвешивание всех «за» и «против» – явление редкое [7, с. 159], как и стремление и смелость исправлять ошибки прошлого.
Ещё одним релевантным механизмом здесь является прескриптивная (предписывающая) аналитика, которая, опираясь на дискриптивную (описательную) аналитику (отвечающую на вопрос: «Что произошло?») и предиктивную аналитику (отвечающую на вопрос: «Что может произойти?»), даёт ответы на вопросы: «Что следует сделать и какое влияние наши решения окажут на будущие результаты?», предписывая необходимые действия.
Есть ещё целый ряд методов и подходов (специальные методы цикличной трассировки аналитики (см.: [16]), методы визуализации аналитики, способы перекрёстного аудита и мн. др.).
Но главное – это всё-таки строгое придерживание базовым принципам и методам, топологиям и последовательностям прикладной аналитики.
Важно чёткое определение и указание практиком-аналитиком основы для своих оценок, поскольку хорошая аналитика выходит далеко за рамки простого высказывания того, что известно, что неизвестно и что думает аналитик. Крайне важно, чтобы аналитики находили способы постоянно подвергать сомнению свои первоначальные предположения и подвергать сомнению свои выводы [1, с. 405].
Впрочем, тут не всё так просто с «панацеями».
Только в развед-аналитике, как известно, существует пять основных сегментов или «дисциплин» информации, которую разведывательное сообщество стремится собирать для удовлетворения потребностей высокопоставленных политиков, лиц, принимающих решения, и военных чиновников, эти дисциплины также называют методами сбора и предобработки информации, в их числе:
агентурная («человеческая») разведка (англ. – «Human intelligence», HUMINT, см.: [17]), – это сбор, аналитическая обработка и использование информации от лиц, которые обладают или имеют доступ к секретной иностранной информации, имеющей существенное значение и последствия для интересов актора сбора разведданных;
радиоэлектронная («сигнальная») разведка (англ. – «Signals intelligence», SIGINT), – это сбор, аналитическая обработка и использование информации, полученной из перехваченных электронных сообщений и информационных передач;
разведка изображений («видова́я» разведка), (англ. – «Imagery intelligence», IMINT), которую также называют геопространственной разведкой («Geospatial intelligence», GEOINT), – это сбор, аналитическая обработка и использование изображений и другой геопространственной информации для описания, оценки и визуального отображения физических объектов и характеристик и географически привязанной к Земле деятельности;
измерительно-сигнатурная разведка (англ. – «Measurement and Signature Intelligence», MASINT), – это сбор, аналитическая обработка и использование технически получаемой информации, которая отражает отличительные характеристики конкретного события (такого как ядерный взрыв), определяет местоположение, идентифицирует и описывает отличительные характеристики целей с помощью таких средств, как оптические, акустические или сейсмические датчики;
разведка по открытым источникам (англ. – «Open source intelligence», OSINT), – это сбор, аналитическая обработка и использование общедоступной информации, появляющейся в печатной или электронной форме (в том числе – в СМИ и соцсетях) [1, с. 582–583].
Понятно, что для каждого из этих сегментов будут свои линейки методов и инструментариев – как вообще, так и в части, касающейся превенции и аллевиации дефектов. А есть ещё и другие сферы прикладной аналитики – где так же имеет место своя специфика.
Более того, все практики-аналитики не похожи друг на друга, и не все возможности профессионального развития удовлетворят всех в равной степени. Аналитики также различаются предпочтительным подходом к своей карьере. Некоторым предпочитают быть универсалами, перемещаясь между всеми видами дел и привнося свежий взгляд; другие проявляют акцентированный интерес к определённому (предметному или географическому) направлению прикладной аналитики, например обычному оружию, или какой-либо области мира, и могут предпочесть потратить время на множество подобных дел. Третьи стремятся специализироваться на довольно узконаправленных предметах [1, с. 423–424].
Вместо заключения
Согласно Рэндольфу Ферсону и Ричардсу Хойеру-мл., обычно всё, что нужно аналитику, – это клавиатура или просто ручка и бумага, хотя часто бывает необходимо и полезно программное обеспечение [18, с. 36]. Для профессионалов – это так, но для начинающих этого недостаточно.
Сегодня необходимо создание полноценной системы профессиональной подготовки в прикладной аналитике.
Этому содействовало бы (хоть через это убедить основную массу практиков-аналитиков привести свою квалификацию к должному уровню) создание механизма своего рода общественно-экспертной аккредитации практиков-аналитиков в разных сферах – с выдачей профессионально-квалификационного звания «практик-аналитик» (сертификата и знака, возможно, с градациями по классности – первого и второго классов) по итогам строжайшего и сложнейшего квалификационного экзамена (условно по 150–200 вопросам, с заранее закладываемым отсевом в 25–40 процентов от численности группы экзаменуемых). Это мог бы быть как общий экзамен, так и по направлениям (в правовой аналитике, бизнес-аналитике, развед-аналитике и т.д.), принимаемый коллегиями общепризнанных профессионалов в прикладной аналитике.
Речь ни в коем случае не о подмене или дублировании государственной системы научной аттестации, обеспечивающей оценку научной квалификации научных работников и иных лиц, осуществляющих научную (научно-техническую) деятельность (по смыслу п. 1 ст. 4 Федерального закона от 23.08.1996 № 127-ФЗ (ред. от 17.02.2023) «О науке и государственной научно-технической политике»). Это, скорее, стало бы аналогом общественной аккредитации (работодателями и их объединениями) организаций, осуществляющих образовательную деятельность, и профессионально-общественной аккредитации образовательных программ (по смыслу ст. 96 Федерального закона от 29.12.2012 № 273-ФЗ (ред. от 17.02.2023) «Об образовании в Российской Федерации»), профессионально-общественной аккредитации и экспертизы (по смыслу п. 22 Стратегии развития национальной системы квалификаций Российской Федерации на период до 2030 года, одобренной Национальным советом при Президенте Российской Федерации по профессиональным квалификациям, протокол от 12.03.2021 № 51). Можно провести своеобразную аналогию и с тестом на уровень знания английского языка как иностранного TOEFL (Test of English as a Foreign Language).
Литература, ссылки
1. Robb C.S., Silberman L.H., Levin R.C., et al. The Commission on the Intelligence Capabilities of the United States regarding Weapons of Mass Destruction: Report to the President of the United States [Комиссия по возможностям разведки США в отношении оружия массового уничтожения: Доклад президенту США]. – Washington (D.C., USA): Government Printing Office, 2005. – xi; 601 p.
2. Forbes Book of Quotations: 10 000 Thoughts on the Business of Life [Книга цитат Форбс: 10 000 мыслей о деле всей жизни] / Edited by Ted Goodman. Revised and updated. – New York: Black Dog & Leventhal Publishers, 2016.
3. Понкин И.В., Лаптева А.И. Методология научных исследований и прикладной аналитики: Учебник. Изд. 3-е, дополн. и перераб. / Консорциум «Аналитика. Право. Цифра». – М.: Буки Веди, 2022. – 754 с. <https://state-religion.ru/index.php?p=post&id=74>.
4. Понкин И.В. Военная аналитика. Военное применение искусственного интеллекта и цифры / Консорциум «Аналитика. Право. Цифра». – М.: Буки Веди, 2022. – 106 с. <https://moscou-ecole.ru/ponkin_milit_ai/>.
5. Понкин И.В. Методология прикладной аналитики: значение ви́дения в аналитической проработке исследуемого текстового материала // Администратор образования. – 2022. – № 21. – С. 56–60.
6. Понкин И.В. Ключевой вопрос предфинальной подготовки прикладного аналитического продукта: что мы упускаем? // Администратор образования. – 2023. – № 4. – С. 61–65.
7. Плэтт В. Информационная работа стратегической разведки: Основные принципы: Пер. с англ. Е.Б. Пескова / Под ред. А.Ф. Федорова. – М.: Изд-во иностранной литературы, 1958. – 342 с.
8. Plaut D., Westgard S., Westgard J.O. Pre-, Post- & Analytical Errors [Пре-аналитические, пост-аналитические и аналитические ошибки] // <https://www.westgard.com/guest20.htm>.
9. Понкин И.В. О значении поиска данных в прикладной аналитике // Администратор образования. – 2022. – № 22. – С. 52–57.
10. Даллес А. Искусство разведки: Пер. с англ., с сокращ. – М.: Международные отношения; Улисс, 1992. – 288 с.
11. Stromer-Galley J., Rossini P., Kenski K., McKernan B., Clegg B., Folkestad J. Flexible versus structured support for reasoning: enhancing analytical reasoning through a flexible analytic technique [Гибкая и структурированная поддержка рассуждений: улучшение аналитических рассуждений с помощью гибких аналитических технологий] // Intelligence and National Security. – 2021. – Vol. 36. – № 2. – P. 1–20.
12. Collier M.W. A Pragmatic Approach to Developing Intelligence Analysts [Прагматический подход к подготовке аналитиков разведки] // Defense Intelligence Journal. – 2005. – Vol. 14. – № 2.
13. Павлов И.П. Лекции по физиологии. – М.: Изд-во Академии наук СССР, 1952. – 492 с.
14. Степин В.С., Елсуков А.Н. Методы научного познания. – Минск: Вышэйшая школа, 1974. – 152 с.
15. Пирс Р. Ассоциативные алгебры. – М.: Мир, 1986. – 543 с.
16. Понкин И.В. Цикличность в прикладной аналитике // Администратор образования. – 2023. – № 6. – С. 61–65.
17. Ромачев Р.В. Практический курс HUMINT для частной разведки. – М.: Горячая линия – Телеком, 2022. – 340 с.
18. Heuer, jr. R.J., Pherson R.H. Structured Analytic Techniques for Intelligence Analysis [Структурированные аналитические методы для развед-аналитики]. – Washington (DC, USA): CQ Press, 2011.