О методическом аппарате аудита эффективности

Общие положения

Вряд ли можно сомневаться в актуальности оценки эффективности расходования государственных средств (РГС) в нашей стране. Действительно, кроме проверок РГС на соответствие нормативным актам (аудит соответствия) чрезвычайно важно оценить эффективность таких расходов (аудит эффективности). Ведь средства могут быть использованы в полном соответствии с действующими нормативными актами, отчетность об их использовании может быть вполне достоверной, а эффективность РГС -низкой или неясной. Особо хотелось бы подчеркнуть еще два аспекта данной проблемы. Во-первых, аудит эффективности входит — и чем дальше, тем больше – в практику работы контрольных органов в странах с развитой рыночной экономикой. Во-вторых, проходящая сейчас бюджетная реформа еще более повышает актуальность аудита эффективности, поскольку основное ее содержание – переход от управления затратами к управлению результатами, причем для управления результатами необходимо (хотя, конечно, недостаточно) уметь их корректно оценивать.
В каждой конкретной ситуации необходимо ответить на вопрос – эффективно или неэффективно произведено РГС. Естественно возложить такого рода задачи на органы государственного финансового контроля -как для того, чтобы не создавать новую специальную структуру под такие задачи, так и потому, что аудит эффективности полезно и удобно на практике сочетать с аудитом соответствия. Хотя следует сразу оговориться, что задачи такого рода радикально отличаются от традиционной деятельности этих органов и по существу относятся к задачам оценки эффективности, которые трудно решаются и в коммерческом секторе. В госсекторе они тяжелы вдвойне, поскольку обычно необходимо оценивать многочисленные социальные и экологические компоненты эффекта от РГС.
На пути практического внедрения в нашей стране аудита эффективности имеется ряд препятствий. Это и недостаточное законодательное его обеспечение, дефицит квалифицированных кадров, недостаток опыта и др. Однако нам представляется, что главным – и явно недооцененным – препятствием является отсутствие методики интегральной оценки (ИО) эффективности РГС.
Необходимо отметить, что законодательное, кадровое и прочее обеспечение аудита эффективности при наличии политической воли можно создать за несколько лет, а вот с методикой ИО эффективности РГС положение труднее — здесь политической воли для подобного рывка явно недостаточно.
Острая целесообразность ИО станет особенно ясной, если учесть состав основных пользователей аудита эффективности. Конечно, в их число входят органы государственного финансового контроля, различные распорядители бюджетных средств, их получатели и т.д., которым нужны как развернутая оценка эффективности РГС, так и ИО. Но большое число пользователей интересует преимущественно ИО — это депутаты различных законодательных органов, аппарат их комитетов и подкомитетов, средства массовой информации экономической направленности, общественность в целом. Таким образом, положение здесь аналогично ситуации в классическом аудите: часть пользователей последнего нуждается как в подробном отчете о проделанной проверке, так и в кратком аудиторском заключении, а часть – только в последнем.
Между тем задача широкого распространения аудита эффективности в РФ еще актуальнее, чем на Западе (учитывая специфические особенности нашей страны: большое число дотационных субъектов Федерации, значительные масштабы коррупции и разгильдяйства и т.д.); в частности, весьма важно, чтобы каждый получатель бюджетных средств считал серьезную последующую проверку эффективности их расходования в высшей степени вероятной.
Если методики ИО эффективности РГС не будут разработаны, то практическим работникам в каждом конкретном случае придется выкручиваться самим, руководствуясь своими профессиональными знаниями. Однако в случае аудита эффективности любая субъективность крайне нежелательна: речь обычно идет о миллионах и миллиардах рублей в условиях резкого столкновения экономических интересов причастных к этим судьбам сторон.

Общая схема оценки эффективности РГС

С позиций теории эффективности РГС дает эффект, как правило, по многим направлениям – экономическим, социальным, экологическим, причем в рамках каждого из них можно выделить несколько показателей (критериев), изменение которых вызвано тем или иным направлением РГС.
Приведем такой пример. Допустим, РГС осуществляется в сфере дорожного строительства и требуется оценить эффективность затрат, связанных с заменой традиционного перекрестка дорог на транспортную развязку, выполненную на разных уровнях. Оказывается, что даже в этом случае необходимо вводить много критериев. Во-первых, это экономия времени автомобилистов, которым не надо будет простаивать в ожидании разрешающего сигнала светофора. Во-вторых – экономия времени большинства пешеходов, которые будут пользоваться подземными переходами. В-третьих, это экономия топлива. В четвертых — уменьшение числа дорожно-транспортных происшествий, в-пятых – снижение числа смертельных случаев, в-шестых – уменьшение материального ущерба владельцев автомобилей и др. Кроме того, приходится учитывать и отрицательные компоненты эффекта: труднее станет переход дороги для инвалидов с повреждением опорно-двигательного аппарата и для людей с детскими колясками. Не исключено, что число критериев может оказаться и больше десяти.
Но РГС на модернизацию транспортных развязок – лишь часть расходов на реконструкцию трассы (наряду с ее расширением, обходом городов, заменой покрытия на ответвлениях к селам и т.п.), а те, в свою очередь, – часть расходов на модернизацию существующих автомобильных дорог и т.д. В результате число критериев еще больше увеличится.
Таким образом, в рамках аудита эффективности набор критериев будет разным и по-разному будет отражать специфику проверяемой предметной области. В случае транспортной развязки это будут одни критерии, в случае федеральной целевой программы «Дети Севера» – другие, в случае компьютеризации сельских школ — третьи. В результате при каждом аудите эффективности будет возникать нелегкая задача выбора того или иного набора критериев. По мере внедрения аудита эффективности эти трудности будут несколько уменьшаться, особенно при решении типичных ситуаций. Так, например, оценка эффективности РГС на больничное строительство в различных регионах может опираться на набор критериев эффективности, разработанных для одного из регионов. Но универсальных критериев, каковыми в коммерческом секторе при оценке эффективности инвестиций являются прибыль или капитализация фирмы, при РГС, похоже, нет.
Обычная схема финансового анализа предполагает нахождение фактического значения того или иного критерия и его сравнение с неким заранее известным эталонным. Если фактическое значение оказывается выше эталонного, то принимается положительное решение, если ниже, то положение рассматривается как неудовлетворительное и обычно начинается поиск мер, направленных на исправление ситуации. При оценке эффективности РГС, даже если по каждому из критериев удалось получить фактические и эталонные значения, возникает вопрос, как принять решение, если критерии оказались разнонаправленными (чего обычно и следует ожидать на практике). Если бы критерии были ранжированы по важности (а еще лучше — были бы известны их весовые коэффициенты), то данное затруднение можно было бы преодолеть, но на практике достичь этого удается далеко не всегда.
Обычно проверяющему не известны ни фактические, ни эталонные значения критериев, ни их сравнительная важность. Сказанное можно проиллюстрировать на рассмотренном выше примере транспортной развязки – ни одно из трех упомянутых значений ни для одного из десяти критериев, скорее всего, получить не удастся. А ведь строительство многоуровневых транспортных развязок в нашей стране и за рубежом началось несколько десятилетий назад и осуществляется в массовом масштабе. Что же тогда говорить об информационной обеспеченности уникальных ситуаций с РГС. В перспективе можно, конечно, рассчитывать на то, что ситуация несколько улучшится (появятся, например, некоторые средние цифры по регионам в роли эталонных значений). При этом заметим, что выбор в качестве эталонных значений запланированных результатов РГС представляется неудачным, поскольку получатель средств будет стремиться в таком случае к занижению плановых цифр.
Таким образом, типичной — и, скорее всего, преобладающей – при аудите эффективности будет следующая ситуация. Частных критериев эффективности может быть достаточно много (по-видимому, от нескольких до нескольких десятков), они достаточно специфичны, ранжирование их по важности отсутствует, фактические и эталонные значения для большинства из них во время проверки получить весьма трудно, причем возможна разнонаправленность этих частных критериев. Последние могут иметь количественный характер и измеряться в рублях, больничных койках на душу населения, относительной доле зеленых насаждений в площади мегаполиса и т.п. Само РГС может быть ограничено одним годом, а может занимать несколько лет – например, в случае крупных федеральных целевых программ. Эффекты могут проявляться сразу после начала РГС, а могут иметь некоторый лаг проявления, величина этого лага может быть различной.
В описанных условиях вряд ли стоит надеяться на разработку формализованного метода получения ИО на базе частных критериев эффективности РГС. Но для широкого внедрения аудита эффективности чрезвычайно актуально иметь в рамках этой общей схемы и общий метод решения охватываемых ею задач. Эта актуальность возрастает еще больше, если учесть огромную разноплановость задач оценки эффективности РГС, их сложность, дефицит подготовленных кадров в государственном контроле сегодня и в обозримом будущем.
В качестве такого общего метода оценки эффективности РГС можно предложить метод экспертных оценок (МЭО). Он является одним из сугубо приближенных методов оценки разнообразных величин, допускающих в той или иной форме количественное представление и применяемых при решении тех вопросов науки и техники, в которых использование точных методов невозможно, затруднительно или экономически не оправдано. Метод экспертных оценок применительно к задачам оценки эффективности РГС описан в литературе^[1]. Из большого числа процедур, разработанных в рамках этого метода, для задач построения ИО эффективности РГС целесообразно применять широко распространенную и хорошо отработанную процедуру Дельфи. Она подробно рассмотрена в специальной литературе, так что здесь мы дадим лишь краткое ее описание.
В первом туре каждый эксперт дает числовую оценку эффективности РГС в конкретной ситуации, например в баллах по пятибалльной шкале (возможно применение и других шкал, например в диапазоне от 0 до 100% или по шестибалльной системе, как в фигурном катании). Далее организатор экспертизы подсчитывает среднее значение, а возможно, и некоторые другие величины, и просит экспертов, давших крайние оценки, письменно обосновать свое мнение, которое без указания фамилий, но вместе с подсчитанными величинами он представляет на второй тур. Таким образом, во втором туре каждый эксперт знает среднюю и крайние оценки группы по первому туру, получает обоснование крайних оценок, но ему неизвестны индивидуальные оценки остальных экспертов по первому туру. Затем аналогично обрабатываются оценки второго, третьего туров до достижения достаточного, по мнению организатора, согласия между оценками экспертов или до тех пор, пока индивидуальные оценки экспертов перестанут существенно изменяться от тура к туру (обычно для этого требуется не более четырех туров^[2]).
Анализ специфики задачи нахождения ИО эффективности РГС позволил сделать вывод о том, что письменное обоснование крайних оценок здесь не всегда целесообразно. В этой связи можно рекомендовать решение этого вопроса передать на усмотрение организатора экспертизы.
Работу группы экспертов логично начинать с представления им некоторого материала, полученного специалистами органа государственного финансового контроля традиционными средствами (это могут быть, например, отчеты, приводимые по аудиту эффективности в Бюллетенях Счетной палаты РФ). Можно согласиться с предложением канадских специалистов по аудиту эффективности, что отчеты такого рода должны быть не более 20 страниц машинописного текста. В них может содержаться ряд цифр, текстовой анализирующий материал и т.п. Однако вряд ли в такого рода отчетах даже в перспективе будут ИО эффективности РГС. Это поле для МЭО, а результаты его использования могут оказать большую помощь органу государственного финансового контроля, принимающему окончательное решение. Естественно, что эксперты будут получать необходимую им информацию и по другим каналам (устные беседы с проводившими проверку специалистами, изучение литературы и т.д.).
Как видно, описанные ранее трудности критериального характера (многокритери-альность, отсутствие ранжирования и т.д.) в рамках процедуры Дельфи вполне преодолимы. Ясно также, что ту же самую группу экспертов можно задействовать для решения смежной задачи – оценки эффективности управления в рамках того или иного направления РГС. Заметим, наконец, что МЭО по существу без сколько-нибудь серьезных изменений может быть применен не только для оценки эффективности расходования бюджетных средств, но и для оценки эффективности постоянного функционирования экономических субъектов, наделенных государственными ресурсами, например государственных унитарных предприятий.

Частные схемы оценки эффективности РГС

Помимо общей схемы оценки эффективности РГС может быть предложен ряд частных схем, на которых имеет смысл остановиться более подробно.
В первой из них — назовем ее «сравнение с эталоном» — имеется полный набор частных критериев эффективности РГС, есть возможность вычисления каждого их них, возможно сравнение каждого из таких показателей с неким эталонным значением.
В «Методике проведения аудита эффективности использования государственных средств», принятой решением Коллегии Счетной палаты РФ 23 апреля 2004 г. (далее – Методика СП) предлагается за единственный критерий эффективности при строительстве учебных заведений брать произведенные затраты в расчете на одно «учебное место». На наш взгляд, это не совсем верно, поскольку должны быть и критерии, учитывающие качество «учебных мест» и т.д. Если же отталкиваться от указанного выше критерия, то строители будут стремиться к излишней экономии на учебном оборудовании, вспомогательных элементах учебного заведения и т.п., а проверяющие будут вынуждены с этим согласиться. Получится дешево, да гнило. То же самое можно сказать о похожем примере, связанном со строительством больниц и затратами на одно «кой-ко-место» в качестве единственного критерия оценки эффективности. Тем более трудно согласиться с предложением Методики СП рассматривать показатель раскрываемости преступлений как единственный критерий эффективности деятельности правоохранительных органов. Надо бы учитывать еще и вероятность осудить невиновного, средние сроки раскрытия преступлений, раскрываемость по различным видам преступлений и др. Другими словами, все эти примеры фактически описывают ситуацию не с одним критерием эффективности, а с их набором.
В рамках первой схемы можно выделить две подсхемы; обозначим их как 1а и 1б. В первой из них имеются либо один критерий с эталонным значением для него, либо множество критериев с эталонным значением для каждого, но все эти критерии однонаправленные. Во второй подсхеме есть множество (обычно от нескольких до нескольких десятков) частных критериев с эталонным значением для каждого, но имеет место их разнонаправленность. Для краткости назовем эти случаи подсхемой с однонаправленными критериями и подсхемой с разнонаправленными критериями соответственно.
Очевидно, что при схеме 1а проверяющий самостоятельно без каких-либо затруднений осуществит оценку эффективности РГС. А относительное отклонение фактических значений частных критериев от эталонных (например, среднее или минимальное из таких отклонений) может быть принято в качестве градуальной ИО. При схеме 16 для получения ИО на базе разнонаправленных критериев и сведения их к единому результату целесообразно привлечь МЭО. Экспертиза оказывается при этом существенно более простой, чем в общем случае, рассмотренном ранее, поскольку эксперты в данном случае будут обладать гораздо большей исходной информацией.
Вторая из частных схем – назовем ее «ограничение экономическими показателями» – моделирует ситуацию, когда допустимо учитывать только экономические результаты РГС и игнорировать социальные (ввиду их несущественности в конкретной обстановке или по другим причинам). Если в примере с транспортной развязкой она реализуется вдали от населенных пунктов, то можно в первом приближении пренебречь всеми критериями, не связанными с экономией времени и топлива, а оставшиеся -привести к стоимостной оценке. Другой пример этой схемы: оценка эффективности РГС на модернизацию портового хозяйства, в частности на замену старой причальной стенки новой с более высоким уровнем автоматизации погрузочно-разгрузочных работ.
Результатом РГС здесь в общем случае будут прямой и косвенный экономические эффекты. Первый реализуется как изменение себестоимости некоторого технологического процесса, второй – как эффект у его пользователей. В примере с портовым хозяйством это соответственно изменение себестоимости погрузочно-разгрузочных работ и эффект у грузополучателей, в основном от ускорения доставки грузов.
Во второй схеме также можно выделить две подсхемы, обозначим их через 2а и 26 соответственно. В первой известны как затраты (при РГС это могут быть все выделенные бюджетные средства или их часть), так и прямой и косвенный эффекты. Во второй — хотя бы одна из этих трех величин неизвестна (обычно это косвенный эффект ввиду больших трудностей его стоимостной оценки – например, не ясно, как перевести в примере с портовым хозяйством ускорение доставки грузов хотя бы к одному грузополучателю в величину косвенного эффекта у него в рублях).
В схеме 2а можно воспользоваться хорошо развитым и многократно апробированным аппаратом оценки эффективности инвестиционных проектов, изложенным в нормативных документах^[3] и подробно описанным в литературе. При этом и затраты, и эффекты могут относиться к одному году, а могут охватывать больший временной период. Последний случай характерен, например, для федеральных целевых программ, срок реализации которых обычно превышает 3 года. Анализ специфики задач оценки эффективности РГС позволил сделать вывод, что в них обычно целесообразно использовать критерии, которые не требуют информации о временном периоде реализации мероприятия (например, срок окупаемости затрат), поскольку зачастую лаг от РГС неизвестен.
Схема 26 в задачах оценки эффективности РГС, конечно, более реалистична, чем схема 2а. Иногда она допускает сведение к схеме 2а, например, на базе экспертной оценки косвенного эффекта; если же такое сведение осуществить трудно, то можно получить ИО эффективности РГС на базе метода экспертных оценок. Использование последнего в обеих упомянутых здесь ситуациях оказывается гораздо более простым, чем в общем случае, описанном ранее.
Третью частную схему назовем «равенство эффектов». При этом предполагается, что во всех возможных вариантах РГС все экономические и социальные эффекты примерно одинаковы по величине, в связи с чем логично выбрать тот вариант, который связан с минимумом государственных средств. В качестве примера может быть рассмотрена ситуация, когда государственная структура закупает по конкурсу строительные материалы, продовольствие, причем в рассматриваемых сферах действует много фирм с примерно одинаковым качеством продукции (имеет место совершенная конкуренция). В данном случае должна быть выбрана фирма, предложившая минимальную цену поставки. Другой пример — это различные варианты организации северного завоза в регион (несколько караванов судов или один большой и т.п.).
С позиций теории эффективности третья схема означает отказ от оценки абсолютной эффективности РГС и переход к оценке сравнительной эффективности с использованием более простого ее аппарата. В качестве градуальной ИО эффективности РГС в данном случае выступает отклонение фактически произведенных затрат от минимально возможных.
Таким образом, при надлежащей разработке МЭО применительно к оцениванию эффективности РГС станет возможной унифицированная оценка этой эффективности, начиная от самых крупных компонентов бюджета и заканчивая самыми мелкими компонентами у отдельных бюджетополучателей. Реализация такой возможности будет при этом определяться в каждом конкретном случае соображениями целесообразности, наличия сил и средств и др.
Представляется, что в отношении крупных компонентов бюджета будет реальной лишь общая схема оценки эффективности РГС. И лишь по мере дробления бюджетных компонентов, в самом конце этого процесса, может появляться возможность использования частных схем 1а, 16, 2а, 26, 3. Например, статья РГС «Транспорт» включает расходы на авиационный, железнодорожный, морской, автомобильный и прочие виды транспорта; среди последнего из перечисленных как одно из направлений фигурируют расходы на дорожное строительство и реконструкцию. Продолжая дробление дальше, приходим в конце концов к затратам на замену простой развязки на конкретном перекрестке многоуровневой, рассмотренной ранее. Но даже для этого мелкого «терминального» примера оказалась пригодной только общая схема (и лишь при дальнейшем сужении задачи — строительстве развязки вдали от населенных пунктов — стало возможным применить частную схему). Аналогична картина и с целевыми программами. Заметим, что Методика СП ограничивается, по существу, только подсхемой 1а и не предусматривает иных схем, предложенных и проанализированных выше.

Некоторые дополнительные замечания

Нередко методические аспекты объекта исследования оказывают огромное или даже определяющее влияние на его организационные, кадровые и прочие аспекты. На наш взгляд, это имеет место и при аудите эффективности. Поэтому, не претендуя на полноту, исследуем здесь возможные организационные и иные решения, которые базируются на научно-методических аспектах оценки эффективности РГС.
Во-первых, аппарат эффективности РГС, как показано выше, весьма сложен и требует определенного знакомства с общей теорией эффективности. Следовательно, необходимо создавать специальные подразделения в контрольных органах, нацеленные на эти задачи, обучать их работников, обмениваться опытом и т.п.
Во-вторых, по той же причине оценку эффективности РГС целесообразно проводить не только органами государственного финансового контроля, но и привлекать к этой работе иные силы, в первую очередь независимых аудиторов. Однако основная работа аудитора осуществляется в рамках аудита соответствия, т.е. связана с проверкой того, насколько некоторая конструкция (например, бухгалтерская отчетность клиента) удовлетворяет заранее сформулированным требованиям. Для аудита эффективности в первую очередь целесообразно привлекать, по нашему мнению, те аудиторские фирмы, которые решат специализироваться (помимо прочего) на задачах оценки эффективности — аналогично тому, как многие аудиторские организации специализируются сейчас на налоговом консалтинге, оценке имущества, страховом аудите и др. Естественно, что такое привлечение должно оплачиваться в целом не хуже других работ аудиторских фирм, а сами эти работы – проходить под наблюдением органов государственного финансового контроля.
В-третьих, показатели эффекта в каждом конкретном случае РГС – а также планируемые их значения — должны устанавливать (как бы это ни было трудно) распорядители этих средств (возможно, на базе взаимодействия с их получателями). Именно они должны четко представлять себе цели РГС, а эти цели должны формализоваться на уровне показателей (количественных и/или качественных) и их запланированных либо предполагаемых значений. Кроме того, распорядители и получатели средств должны априори представлять себе, какие результаты будут получены.
Финансовый же контролер, как правило, должен будет при этом лишь оценивать достоверность отчетных значений показателей, близость их к плановым значениям и т.п. Для грамотной разработки системы показателей эффекта распорядители и получатели бюджетных средств могут привлекать НИИ, высшие учебные заведения, аудиторские фирмы и т.д.; в типовых ситуациях такую работу логично возложить на научные подразделения в системе государственного финансового контроля. Следует оговориться, что это идеальная схема, до которой на практике весьма далеко, и что в ближайшие годы роль финансового контролера в аудите эффективности будет значительно выше.
В-четвертых, представляется полезным апробировать предложенные схемы на двух-трех типичных ситуациях и проанализировать накопленный при этом опыт как на предмет полученных результатов, так и на предмет уточнения научно-методических положений.
В-пятых, хотелось бы согласиться с замечанием канадских специалистов, приведенным в Методике СП, о пользе привлечения внимания средств массовой информации к результатам аудита эффективности, но добавить при этом, что такое внимание должно распространяться и на методические вопросы аудита эффективности.
В-шестых, выбор одной из рассмотренных выше схем оценки эффективности РГС может быть обычно сделан в самом начале проверки. Поэтому представляется целесообразным разработать в рамках каждой схемы целевые установки для проверяющих, с тем чтобы после накопления определенного опыта развить их в методические рекомендации. Например, в рамках схемы 26 полезно ориентировать специалистов государственного финансового контроля на проверку правильности определения вычисляемых компонентов затрат и экономического эффекта и на подробный анализ на качественном уровне тех компонентов, стоимостная оценка которых оказалась невозможной.
Кроме разработки таких целевых установок и дальнейшего развития МЭО применительно к оценке эффективности РГС, представляется целесообразным в будущем сконцентрировать усилия на тесной увязке методических и организационных аспектов аудита эффективности в условиях реформирования бюджетного процесса в нашей стране.