Электронное научное издание «Труды мгта: электронный журнал»

Вид материала

Содержание

Ключевые слова
Инновационные проекты: особенности реализации и аспекты оценки
Понятие и виды эффективности
Традиционные подходы к определению относительной эффективности
Simple Ratio Analysis
Регрессионный анализ
Метод граничного анализа эффективности (Data envelopment analysis)
Data Envelopment Analysis
Применение DEA для динамической оценки эффективности инновационного проекта

Подобный материал:

Электронное научное издание «Труды МГТА: электронный журнал»

Тубин П.А., аспирант МГТА

Динамическое измерение и повышение эффективности инновационных проектов

Аннотация

В статье рассматриваются критерии оценки инновационных проектов и сравниваются подходы к определению эффективности проектов. Предлагается использование методологии Data Envelopment Analysis для проведения динамической оценки процесса реализации инновационных проектов и выработки корректирующих воздействий для повышения их эффективности.

Ключевые слова

Инновации, инновационное проектирование, эффективность, динамическая оценка.

Введение

Проблема эффективности является одной из основных в работах многих исследователей. Причиной является тот факт, что вопрос эффективности относится к понятию критериальности управления. Критериальность подразумевает управление наилучшим образом и, соответственно, необходимость формирования системы оценки управления - критериев. В целом, результативность проекта оценивается по двум критериям: средства достижения (гибкость, эффективность и т.д.) и результат (конкурентоспособность, финансовые показатели) [1]. Соответственно эффективность реализации проектов может рассматриваться с двух позиций: экономики реализации проекта – изучения соотношения между выходом и затратами; и определении точности достигнутого результата относительно цели. Проблема эффективности реализации инновационных проектов является крайне актуальной, так как реализация эта, по определению, носит характер уникальности, и, следовательно, вероятность успешного завершения проекта такого рода ниже в сравнении с проектом с отлаженной технологической и организационной схемой. В данной работе представлен подход к динамической оценке экономики реализации инновационных проектов с использованием методологии Data Envelopment Analysis.

Инновационные проекты: особенности реализации и аспекты оценки

Проекты являются средством реализации стратегии и повышения результативности организации. К инновационным проектам относятся все проекты, связанные с новшествами, которые впервые нашли применение на предприятии и приносят ему конкретную выгоду – экономическую, социальную или экологическую. Инновация - это не только коммерческое использование нового продукта на рынке, но и целый ряд других нововведений: виды продукции, услуги, новые или улучшенные производственные процессы и технологии, методы организации и управления, производственные и управленческие системы, изменённые социальные отношения на предприятии. С позиции стратегического управления инновация рассматривается как результат, а процессы создания, коммерциализации и диффузии как инновационная деятельность. Инновационная деятельность как объект стратегического управления на уровне организации включает [2]:

выявление и формирование инновационных идей и различных новшеств, потенциально полезных для организации;
наблюдение, определение и оценку технологий, конкурирующих за обеспечение определенной потребности;
выбор из возможных вариантов релевантных технологий с позиции создания долговременного конкурентного преимущества компании;
доступ к базе знаний, необходимой для реализации выбранных инновационных и технологических концепций, посредством внутренних или внешних НИОКР или сотрудничества;
управление инновационными проектами и проектами партнерства;
отбор старых технологий и замещение их новыми технологиями;
создание и организацию производства принципиально новой или с новыми потребительскими свойствами продукции;
реализация и усовершенствование продуктов, процессов и систем, составляющих систему инновационной деятельности компании;
формирование портфелей технологий, инноваций и компетенций,
формирование и эффективное использование инновационного потенциала;
обеспечение эффективного использования и распространения результатов инновационных процессов;
формирование и эффективное использование интеллектуального капитала;
создание и использование нововведений в деятельности компании, способствующих достижению конкурентных преимуществ.

В то время как многие исследователи фокусировались на определении зависимости между различными факторами и итогами проекта, вопрос промежуточной оценки эффективности и результативности проектов (инновационной деятельности) находился в тени. Литература по данной проблематике практически отсутствует, выделяется работа Хьюза, который рекомендовал оценивать проекты по нескольким измерениям на начальных фазах [3], а также работа Парсонс [4], в которой были предложены метрики для текущей оценки проектов NASA. Большая часть исследований связана с оценками по результатам проекта, причём оценками субъективными. Ценность данных оценок мала, так как в конце проекта возможность повлиять на входы, от которых зависит успех проекта, равна нулю, а субъективные оценки участников проектов зачастую подвержены влиянию политической подсистемы.

Зачастую инновационные проекты относятся к так называемому «вырожденному» виду проектов, характеризующемуся следующими свойствами:

управленческие просчёты проявляются не моментально;
большая часть просчётов с технической, временной и стоимостной точки зрения может быть исправлена;
проект реализуется преимущественно за счёт нефизической деятельности людей.

К примеру, проект по строительству жилого здания не относится к классу «вырожденных», так как в процессе его реализации первичным является создание материального актива, управленческие ошибки проявляются на следующем шаге после их совершения и возможность их исправления минимальна. При этом эффективность данного проекта с момента совершения ошибки не может достигнуть прежнего уровня. «Вырожденные» инновационные проекты также потенциально подвержены проявлению описанных свойств, однако вероятность восстановления управленческой эффективности в проектах такого рода за счёт приложения корректирующих воздействий значительно выше, что подтверждает необходимость динамической оценки их эффективности.

Понятие и виды эффективности

В отечественной практике оценки эффективности (прежде всего, при разработке бизнес-планов проектов) выделяются два класса показателей эффективности [5]: эффективность проекта в целом и эффективность участия в проекте. В свою очередь, эффективность проекта в целом делится на общественную и коммерческую эффективность. Общественная эффективность учитывает социально-экономические последствия для общества в целом: как непосредственные результаты и затраты проекта, так и "внешние" - затраты и результаты в смежных секторах экономики, экологические, социальные и иные внеэкономические эффекты. Показатели коммерческой эффективности учитывают финансовые последствия его осуществления для участника, реализующего проект. Эффективность участия в проекте включает: эффективность участия предприятия в проекте, эффективность инвестирования в акции предприятия, эффективность участия в проекте структур более высокого уровня по отношению к предприятию, бюджетную эффективность.

Следуя терминологии западных работ, такие подвиды, как общественная эффективность, эффективность участия в проекте и т.д., следует отнести к понятию результативности. Под «эффективностью» (efficiency) в англоязычной научной литературе подразумевается соотношение между выходом и затратами, т.е. экономика реализации процесса. Термин «результативность» (effectiveness) используется для обозначения точности или степени достигнутого результата относительно цели. Например, в стандарте ISO 9000: 2000 термин "результативность" определяется как степень достижения запланированных результатов, а "эффективность" - как соотношение между достигнутыми результатами и затраченными ресурсами. Кроме этого, часто используется термин «performance» (наиболее адекватно переводится как «результативность», «результат», «отдача»), который обозначает именно совокупный результат деятельности компании. Таким образом, понятие результативности относится к конечному продукту какого-либо процесса, понятие эффективности – к самому процессу. Именно поэтому такие метрики, как социально-экономические последствия и бюджетная эффективность, стоит относить к результативности рассматриваемого проекта.

Что касается эффективности процесса достижения результата, следует выделить, прежде всего, техническую эффективность именно как соотношение результата и затраченных ресурсов. Техническая эффективность зачастую используется для сравнения схожих по входам и выходам организаций и проектов. Этот вид эффективности, по сути, даёт возможность оценить КПД проекта, «перерабатывающей функции», вектора, ведущего, в конечном итоге, к достижению финансовых целей. С другой стороны, финансовые цели, рассматриваемые в контексте основного бизнес-процесса, будут, скорее всего, носить операционный характер. Каким образом тогда оценить эффективность реализации стратегических инновационных проектов, за счёт которых осуществляется достижение стратегических целей? Кроме того, возникает вопрос – каким образом отделить техническую эффективность системы от управленческой эффективности, т.е. вклада менеджмента в успех проекта?

Традиционные подходы к определению относительной эффективности

Измерение абсолютной эффективности какой-либо деятельности подразумевает знание абсолютного максимума по рассматриваемому критерию. Например, определение эффективности выпуска (то есть максимизация выпуска при фиксированных затратах) или эффективности использования ресурсов (минимизация затрат при фиксированном выпуске) предполагает знание производственной функции полностью эффективной фирмы. На практике эта задача не всегда (достаточно редко) поддается решению, поэтому чаще всего исследуется относительная эффективность деятельности схожих объектов. Два распространенных подхода – простой анализ относительных показателей (simple ratio analysis - SRA) и регрессионный анализ (regression analysis – RA) исторически использовались для сравнения данных, связанных с эффективностью.

Simple Ratio Analysis

Простой анализ относительных показателей (simple ratio analysis - SRA) - распространенный и простой способ оценки исследуемых сущностей. Подход основан на вычислении отношений исходных данных и сравнении результатов между собой. Зачастую при оценке все исследуемые объекты представляют собой «лучшую практику» (best practice) хотя бы в одном из аспектов деятельности, описываемых тем или иным исходным параметром. Соответственно SRA предоставляет практически безграничное поле для дебатов. Какой из объектов показывает наилучшие результаты? Каким объектом можно пренебречь в случае, если финансирование сократится? Возможно, им окажется объект, не показавший максимального балла ни в одной из категорий, но данное предположение может быть неверным.

Один из рекомендованных методов преодоления неопределенности такого рода – использование подхода в сочетании с взвешиванием показателей [6]. При таком взвешивании каждый из показателей получает вес в зависимости от предпочтений лица принимающего решение (decision-maker). Задача присвоения весов показателям такого рода – одна из наиболее сложных и противоречивых в деятельности государственных служащих, занимающихся оценочной деятельностью [6]. Даже в случае, когда может быть составлена относительная иерархия показателей, открытым остаётся вопрос назначения конкретного значения веса показателю. Использование простого анализа относительных показателей приводит к получению неоднозначных результатов; анализ становится более сложным, а трактовка результатов более проблематичной при использовании данного подхода на больших выборках данных.

Регрессионный анализ

Регрессионный анализ также часто используется для сравнения организаций с использованием данных о результативности [6]. Регрессионный анализ предполагает использование данных по всем исследуемым организациям для создания производящей функции, использующей входы как независимые переменные и позволяющей получить одну зависимую переменную, например эффективность, качество или результативность. Каждое из уравнений регрессии, по сути, являет собой прогноз, основанный на среднем значении результативности всех объектов: каков ожидаемый уровень одного из выходов для заданного значения входов? Наибольшие положительные значения по одному из выходных параметров отражают обладание «лучшей практикой» в данной категории, отрицательные значения показывают отставание от средней результативности.

Основываясь на результатах регрессионного анализа, тот или иной объект, не будучи оптимальным, может быть признан наиболее успешным. Однако признание такого объекта лидером и ориентация на достижение остальными показателей этого центра ведет к «канонизации» неоптимальной результативности. Регрессионный анализ, базируясь на понятии усреднённого стандарта результативности, показывает объекты с «удовлетворительной результативностью», не выявляя наилучший объект по всем категориям. В этом смысле регрессионный анализ не является большим шагом вперед по сравнению с SRA. Недостатки регрессионного анализа становятся еще более очевидными, если задаться вопросом: какой из объектов может быть отброшен при появлении ограничений? Однозначного ответа на этот вопрос регрессионный анализ не даёт.

Регрессионный анализ имеет то же существенное ограничение, что и простой анализ относительных показателей – невозможность анализа нескольких зависимых переменных одновременно и получения общей метрики результативности. При рассмотрении данных видов анализа становится очевидно, что существующие ограничения будут увеличивать степень неопределенности при увеличении мощности исходного множества данных и не будут способствовать облегчению принятия решений. ДеЛансер в работе 1996 года заключает, что традиционные виды анализа, будучи наиболее применимыми техниками в измерении результативности («performance measurement»), дают лишь частную информацию об эффективности и/или результате («efficiency and/or effectiveness») [7].

Метод граничного анализа эффективности (Data envelopment analysis)

Фаррелл [8] предположил, что эффективность организации состоит из трёх компонентов: экономической эффективности, технической эффективности и аллокативной эффективности. Предложенный им способ определения эффективности был приведен Чарнсом, Купером и Роудсом к виду задачи линейного программирования, и был назван Data Envelopment Analysis (DEA) [9]. В русском языке однозначного перевода термина «Data Envelopment Analysis» нет, существуют различные варианты названия методологии, как то: «метод огибающих», «метод граничного анализа эффективности», «метод оболочечного анализа данных». Модель, предложенная этими авторами, стала широко распространена и получила название CCR. Созданная модель позволяла оценивать относительную эффективность объектов без учёта эффекта масштаба (constant return-to-scale model). Кроме того, широкое распространение получила модель BCC Банкера, Чарнса и Купера. Основное отличие модели BCC – возможность учёта эффекта масштаба (variable return-to-scale model).

DEA – это методология, основанная на принципах линейного программирования, предназначенная для вычисления относительной эффективности ряда сущностей, обозначающихся как «Decision Making Unit» (DMU). Эта методология позволяет одновременно учитывать множественные входы и выходы, измеряя эффективность DMU как взвешенную сумму выходов по отношению к взвешенной сумме входов. Ограничением является условие, что эффективность исследуемого объекта не может превышать единицу. Предназначенная изначально для измерения относительной эффективности в некоммерческих организациях, методология Data Envelopment Analysis была впоследствии применена для изучения эффективности более чем в 50 отраслях – от финансовых институтов до сельского хозяйства.

DEA предоставляет огромную гибкость при выборе исходных данных: входные и выходные данные могут принадлежать как непрерывным, так и дискретным множествам. Входы и выходы, кроме того, могут иметь различные размерности (в т.ч. балльные оценки). Термин «выход» (output) с точки зрения Data Envelopment Analysis может обозначать не только уровень выработки, но и уровень качества и результат. Соответственно, в зависимости от применения, DEA подходит не только для оценки эффективности (efficiency), но и качества и результативности (effectiveness).

Сравнение проводится для группы объектов, при этом максимальная эффективность, равная единице, будет выражать не абстрактный идеал или некоторое усредненное значение по группе, а наилучшее достижимое в данной группе значение. Перечисленные выше факторы являются уникальными для Data Envelopment Analysis. Граница эффективности, определяемая в DEA, «окружает» все неэффективные DMU. Для объекта, находящегося внутри границы, DEA пытается определить набор оптимальных весов, позволяющий данному объекту переместиться на границу эффективности. Для неэффективного объекта мы получаем набор коэффициентов, отражающий то, какие центры формируют для него референтную группу, то есть являются эталонами. Данные значения крайне важны, так как дают возможность понять причины неэффективности, направления развития и определить эталоны для неэффективного центра. Кроме того, эти величины могут быть использованы для вычисления объёма ресурсов, которые могут быть сохранены, либо объёма выпуска, который может быть достигнут, если объект станет сравнительно эффективным.

Итак, с использованием Data Envelopment Analysis появляется возможность обойти несовершенство классических подходов к оценке эффективности, получив агрегированную метрику и учитывая несколько зависимых переменных. Для реализации динамической системы необходимо учесть временной фактор проекта.

Применение DEA для динамической оценки эффективности инновационного проекта

Нили в работе 2005 года формулирует один из основных вопросов относительно будущего работ по оценке эффективности [10]: как разработать динамическую, а не статическую систему измерения? Различные модификации модели DEA, позволяющие динамически оценивать эффективность, могут быть использованы для решения данной задачи.

Важно отметить, что в данном случае не ставится цель выявления эталонной эффективности. Задача исследования - сравнить относительные эффективности по времени в порядке следования для обнаружения закономерностей и предложить модель для прогнозирования и управления эффективностью. Исследуя инновационный проект для измерения эффективности, каждый временной период проекта в DEA предлагается рассматривать как отдельный объект. Таким образом, смысл построения границы эффективности уходит на второй план, первичной становится динамика эффективности, соотношение эффективности с реальными действиями на проекте и определение потенциала для улучшения с использованием коэффициентов DEA.

Соответственно анализ причин неэффективности в соответствующих точках способен выявить решения, повлиявшие на низкий результат. Данное приложение DEA, кроме того, показательно с точки зрения возможностей подбора данных и параметров модели. Прежде всего, данная модель для динамической оценки способна оперировать малым числом входных и выходных параметров, что является методически верным с точки зрения DEA, и что зачастую нарушается исследователями. Кроме того, в модели возможно использование объективных данных, непосредственно относящихся к исследуемому объекту, что позволяет преодолеть несовершенство существующих систем оценки текущей эффективности инновационных проектов.

Возвращаясь к определению и рассматривая одно из свойств проекта, а именно реализуемость по этапам, появляется возможность исследовать текущую эффективность и результативность проекта по данным этапам и сравнивать полученные данные: оценивать управленческую эффективность именно за счёт использования свойства DEA, описанного выше, т.е. трактовки одного и того же DMU в разный момент времени как различных объектов.

Заключение

В данной статье предложен подход для динамического определения эффективности в инновационных проектах и получения численных коэффициентов, отражающих направление корректирующих воздействий в процессе реализации, с использованием методологии DEA. Данное приложение отличается от работ с традиционным применением Data Envelopment Analysis тем, что ориентировано на выявление тенденций, динамики, «провалов» эффективности по времени и определение рычагов влияния на эффективность. Именно поэтому классическая граница эффективности в данном исследовании не столь необходима, как простое распределение эффективности по времени. Использование данной динамической версии DEA позволяет преодолеть ограничения классических подходов к определению эффективности и способствует повышению вероятности успешной реализации инновационного проекта.

Литература

Kit Fai Pun, Anthony Sydney White. A performance measurement paradigm for integrating strategy formulation: A review of systems and frameworks // International Journal of Management Reviews, 2005; Volume 7 Issue 1; pp. 49–71.
Бек Н.Н., Бек М.А. Cтратегический менеджмент знаний и инноваций. М.: Изд. ГУ-ВШЭ, 2008.
Shawn W. Hughes, Donald D. Tippett, Warren K. Thomas. Measuring Project Success in the Construction Industry // Engineering Management Journal Vol. 16 No. 3, Sept 2004.
Parsons, Vickie S. Project Performance: How to Assess the Early Stages // Engineering Management Journal, Dec 2006.
Методические рекомендации по оценке эффективности инвестиционных проектов. М.: Экономика, 2000.
Ronald C. Nyhan, Lawrence L. Martin. Comparative Performance Measurement: A Primer on Data Envelopment Analysis // Public Productivity & Management Review, Vol. 22, No. 3 (Mar., 1999), pp. 348-364.
DeLancer, P. M. Public productivity and data envelopment analysis (DEA): How compatible are they? // Paper presented at the annual meeting of the American Society for Public Administration, Atlanta, GA, 1996.
M. J. Farrell. The Measurement of Productive Efficiency // Journal of the Royal Statistical Society. Series A (General), Vol. 120, No. 3 (1957), pp. 253-290.
Charnes A., Cooper W.W., Rhodes E. Measuring the efficiency of decision making units // European Journal of Operational Research 1978;2:429–44.
Neely A.. The evolution of performance measurement research // International Journal of Operations & Production Management; 2005.

Тубин П.А. Динамическое измерение и повышение эффективности инновационных проектов

Blog