Объять необъятное и оценить бесценное (независимая оценка качества дополнительного образования детей)

Дополнительное образование детей – это уникальная система, основными особенностями которой являются большое разнообразие реализуемых дополнительных общеобразовательных программ и добровольность их освоения обучающимися, отсутствие образовательных стандартов при сохранении высокой доли государственного финансирования. Эти особенности определяют одну из ключевых проблем системы дополнительного образования детей, выражающуюся в противоречии: с одной стороны, оценивание и контроль качества необходимы всем участникам образовательных отношений (потребителям для выбора, работникам системы для управления качеством), с другой стороны, традиционные механизмы контроля и оценки качества неадекватны для этого типа образования. Вариативная система дополнительного образования требует более гибкого подхода к ее оценке, внедрения модульных моделей, учета пользовательских оценок.

В статье представлены некоторые подходы к построению такой системы оценивания, включающей модули по оценке образовательных результатов обучающихся, качества образовательных условий, методического качества дополнительных общеобразовательных программ. Статья будет интересна работникам системы дополнительного образования детей всех уровней: от педагогов, до управленцев.

Т.А. Мерцалова,
ведущий эксперт
Центра социально-экономического
развития школы Института образования,
Национального исследовательского университета
«Высшая школа экономики»,
кандидат педагогических наук

Оценка – это всегда сравнение. Для сравнения нужна норма, норматив, некий стандарт, шаблон, с которым будет осуществляться сравнение объекта оценки. Если речь идет об оценке развития, о необходимости понять, что происходит с объектом (например, с образовательной организацией), куда он движется, – тогда можно и даже необходимо проводить сравнение его состояния с ним же самим, но в прошлом. Нормой в этом случае становится вектор изменения показателей: в какую сторону (улучшение или ухудшение) и на какую величину (в единицах или в процентах) произошло изменение.

В общем и профессиональном образовании есть федеральные государственные образовательные стандарты (ФГОС). В дополнительном образовании детей (ДОД) стандарты отсутствуют. Есть федеральные государственные требования (ФГТ), но они действуют в отношении очень небольшого количества программ ДОД – только в отношении дополнительных предпрофессиональных образовательных программ.

Отсутствие ФГОС является специфической особенностью ДОД. Разработать ФГОС для ДОД невозможно, не уничтожив наиболее значимые особенности этой системы, такие как большая вариативность образовательных программ и широкое разнообразие реализующих их организаций, в том числе не образовательных.

Даже официальные типологии программ ДОД демонстрируют это разнообразие: по направленностям [7], по уровню подготовки (например, утвержденные в Москве: ознакомительный, базовый, и углубленный уровни) [6], по теме внутри направленности (например, «дерево» художественной направленности на рисунке 1).

Рисунок 1. Схематический набросок «дерева» дополнительных образовательных программ художественной направленности.

При этом добровольность обучения по программам ДОД формирует условия для более высокой конкурентности в этом образовательном секторе. Семья (ребенок, подросток) выбирают программу ДОД, исходя из собственных интересов, способностей ребенка, ожиданий родителей. Выбирают они именно программу, а не организацию ДОД. Конечно, есть ситуации, когда выбора просто нет, хотя и тогда есть выбор: идти в тот кружок, который есть, или не идти никуда, потому что этот кружок совсем не подходит…

Выбор программы, а не организации обуславливает необходимость того, чтобы базовой единицей оценивания являлась программа (дополнительная общеобразовательная программа, реализуемая той или иной организацией) или, в крайнем случае, детское объединение, но не образовательная организация в целом. Оценка всей образовательной организации в итоге может складываться из оценок качества, реализуемых в ней программ.

Наличие выбора формирует потребность потребителей образовательных услуг в информации. Причем не только о направленности и тематике программы, но и о качестве ее реализации, о предоставляемых условиях (в том числе, о педагогах, оборудовании и т.д.), результатах, получаемых обучающимися… [3]. «Сарафанное радио» в этом отношении, остается пока единственным надежным источником, отражающим пользовательские оценки качества программ ДОД.

По оценкам исследователей [5], общение с друзьями и знакомыми, чьи дети занимаются в организации дополнительного образования, или их детьми, – является наиболее востребованным источником информации при выборе места обучения даже для жителей Москвы. Альтернативу им составляет общение с педагогами, работающими либо в школе, либо в организации ДОД, в том числе, осуществляемое в рамках «Дней открытых дверей». При этом за последние годы отмечается рост значимости электронных источников информации – материалов, размещенных в сети Интернет на официальных сайтах образовательных организаций, органов управления образованием, на форумах и др.

Сама система ДОД, в лице педагогов и управленцев разного уровня, также демонстрирует насущную потребность в оценке ее качества:

• управленцы хотят понимать, во что вкладывать деньги и другие ресурсы, как расходуются эти средства, как влияют на качество вводимые (и финансируемые) инновации;
• педагогам важно понимать, что и как можно и нужно улучшить в своей работе, чтобы сохранить контингент (спрос на программу и на себя, как ценного работника) [4].

Потребность работников системы ДОД в оценке ее качества отражается, в том числе, в постоянном поиске способов оценки, в активных обсуждениях вопросов оценки качества на всех дискуссионных площадках дополнительного образования детей.

Таким образом, мы имеем систему, оценка которой востребована разными участниками образовательных отношений, но которую невозможно оценить привычными стандартизированными методами. Если нельзя ввести универсальную стандартизированную систему оценки, значит необходимо искать вариативную, гибкую, многофакторную, модульную систему.

Следует сделать оговорку, что в данном случае речь идет только о независимой оценке качества системы ДОД [2]: кружка, секции, организации, муниципалитета, региона, страны. Вопросы индивидуального оценивания (формирующее, критериальное, демонстрационный экзамен и др.) – это тема для отдельного обсуждения.

Обобщая множественный опыт разных исследователей и работников системы ДОД, на сегодняшний день можно предложить несколько рамочных направлений (модулей) оценки ее качества. Комплексная модель, интегрирующая разные модули, в 2016 году была разработана и апробирована в рамках совместного проекта Института образования НИУ ВШЭ и Ресурсного центра ГБПОУ г. Москвы «Воробьевы горы».

1-е направление: Оценка образовательных результатов, которая может осуществляться разными способами.

• Учет участия обучающихся в конкурсных мероприятиях по направленностям осваиваемых ими программ, а также учет результатов такого участия. Количественное выражение этих результатов может осуществляться через показатели: «Доля обучающихся по программе ДОД, принявших участие в конкурсных мероприятиях международного, федерального, регионального, муниципального уровней[1] от общего числа обучающихся по программе», «Доля обучающихся по программе ДОД, ставших победителями (и призерами) в конкурсных мероприятиях международного, федерального, регионального, муниципального уровней от общего числа обучающихся по данной программе, принявших участие в этих мероприятиях». Нормативный критерий по данным показателям: «Чем больше, тем лучше», – может определяться от среднего по региону, муниципалитету, стране, но обязательно отдельно для каждой направленности и для каждого уровня программ.

Важно также определить перечень наиболее значимых (статусных, надежных) конкурсных мероприятий, участие в которых будет учитываться при такой оценке, как это делается на федеральном уровне [8]. Подобные перечни формируются в разных регионах России, возможно формирование муниципальных перечней.

Однако, не по всем направленностям на сегодняшний момент есть доступные для всех конкурсные мероприятия. Более того, далеко не все ожидания родителей ориентированы на «высокие достижения» (рисунок 2), и, соответственно, не все программы ДОД должны заниматься подготовкой потенциальных конкурсантов. Порой, просто «занять детей» чем-то интересным гораздо важнее и полезнее и для ребенка, и для семьи, и для общества. Существуют и пользуются спросом программы ДОД ознакомительного уровня, цель которых познакомить ребят с той или иной сферой деятельности. Во всех этих случаях учет конкурсных мероприятий работать не будет.

Рисунок 2. Доля родителей, отметивших значимость указанных показателей при выборе организации ДОД (опрос ОНФ, 2015 г.).

Движение контингента многие совершенно справедливо считают показателем качества реализации образовательных программ. Этот подход применим даже в отношении школы (пример: проект методики рейтинга московских школ на 2019 год).

В практике оценки качества ДОД движение рассматривается из 2-х позиций: 1) «Разница между количеством обучающихся по программе на начало и конец учебного года», и 2) «Доля обучающихся, перешедших на следующий год (следующую ступень) обучения по данной программе от числа окончивших предыдущий год (предыдущую ступень)». Однако принцип добровольности ДОД гарантирует право ребенка на пробы, поиск своего интереса. Уход части детей из кружка объясняется не низким качеством его работы, а тем, что данная конкретная деятельность не интересна данным конкретным детям. Следовательно, необходимо учитывать этот возможный, дозволенный «люфт» для «текучки» контингента. Причем определяться его норма также должна отдельно для каждой направленности и для каждого уровня программ, возможно, исходя из среднего по муниципалитету, региону, стране.

Удовлетворенность потребителей образовательных услуг: обучающихся и их родителей, представителей профильных профессиональных образовательных организаций (например, педагогов хореографического училища) качеством образовательных результатов. Это направление в последние годы активно продвигается и также активно формализуется государственным регулированием в контексте независимой оценки качества образования (НОКО) [9].

Подобное социологическое исследование позволяет перевести «сарафанные» оценки в более нормированный вариант, если обеспечить следующие условия: 1) Качественную методику опроса, включая: инструментарий (опросник) и требования к формированию выборки; 2) Качественное проведение опроса, исключающее: влияние «интервьюеров» на результаты опроса (когда опрос проводит, например, сам педагог), фальсификацию респондентов и их оценок (например, многократные голосования одним лицом при проведении электронного опроса), коллективные оценки (когда анкету дают заполнить дома, или заполняется она всеми вместе на родительском собрании).

В части создания качественного инструментария пока сохраняется множество проблем. Например, чаще всего используемые прямые вопросы «Удовлетворяет ли Вас качество…», как правило, приводят к усредненным завышенным оценкам, которые ни о чем не говорят. При попытке дробления вопросов на более детализированные части разработчики сталкиваются, с одной стороны, с проблемой невозможности «объять необъятное», с другой, – с проблемой чрезмерного разрастания анкеты, которая уже просто не поддается быстрому и качественному заполнению.

При этом дробление и конкретизация позволяют получить более точную оценку и полезный материал для анализа и принятия решений (рисунки 3-4).

Рисунок 3. Фрагменты Анкеты для опроса потребителей образовательных услуг (родителей) при проведении независимой оценки деятельности по реализации дополнительных общеобразовательных программ по робототехнике (совместная разработка Ресурсного центра ГБПОУ г. Москвы «Воробьевы горы» и Института образования НИУ ВШЭ, 2016 г.).

Рисунок 4. Пример графического представления части результатов в рамках проведения независимой оценки деятельности по реализации дополнительных общеобразовательных программ по робототехнике (совместная разработка Ресурсного центра ГБПОУ г. Москвы «Воробьевы горы» и Института образования НИУ ВШЭ, 2016 г.).

2-е направление: Оценка качества условий, в которых реализуются образовательные программы.

Качество образовательных условий (инфраструктурных[2] и средовых[3]) считается важным для обеспечения высоких образовательных результатов. Это подтверждается некоторыми исследованиями, в том числе PISA, TIMSS, PIRLS [1 и др.]. Это отражается в требованиях ФГОС.

В разнообразии целей и задач, на решение которых могут быть ориентированы разные программы ДОД, качество условий приобретает особое значение. Но содержательное разнообразие этих программ создает такой широкий спектр требований к условиям, что нормировать его становится крайне сложным. Однако можно выделить хотя бы некоторые направления (блоки) условий образовательной деятельности, которые могут стать объектами оценки: состояние зданий и помещений; наличие необходимого работоспособного оборудования, инвентаря и его современность; обеспеченность расходными материалами; обеспеченность информационно-методическими материалами; кадровое обеспечение и др.

Кроме этого, и работники ДОД, и родители обучающихся выделяют важнейшие, на их взгляд, средовые характеристики, среди которых на первом месте – психологический климат в кружке (детском объединении): отношения обучающихся между собой и с педагогами (рисунок 5).

Рисунок 5. Значимость показателей, характеризующих критерий «Какой в организации ДОД психологический климат и взаимоотношения между детьми и взрослыми» (% от числа родителей, выбравших данный критерий, опрос ОНФ, 2015 г.).

Сюда же можно отнести качество информирования и коммуникации организации ДОД и работающих в ней детских объединений с общественностью, в первую очередь, с родителями обучающихся.

Среди методов оценки условий чаще всего используются:

• Анализ образовательной статистики. Здесь как всегда возникает ряд вопросов, связанных с особенностями статистического наблюдения в ДОД, которое до сих пор остается далеким от совершенства. При этом, для проведения оценки важно понять не только какие статистические данные об образовательных условиях использовать, но и как определять нормативы, например, материально-технического обеспечения той или иной программы ДОД. Очевидно, что идеальные условия для программ разной направленности (технической и физкультурно-спортивной, естественнонаучной и художественной, туристско-краеведческой и социально-педагогической) будут очень сильно различаться. Более того, разные программы в рамках одной направленности требуют разных условий, разного оборудования, инвентаря, расходных материалов и т.д. Определить нормы в таком разнообразии становится крайне сложно.

Одно из решений этого вопроса сводится к определению нормального качества условий, исходя из требований, зафиксированных в самой образовательной программе ДОД. Подход разумный, но очень трудоемкий и слабо реализуемый.

В идеале при составлении документа «Дополнительная общеобразовательная программа» в ней, кроме прочих обязательных разделов (цель, задачи, учебный план и т.д.), должен быть раздел с перечнем и характеристиками необходимых образовательных условий, хотя бы: оборудования, инвентаря, специфических требований к помещению. На практике в подавляющем большинстве программ ДОД такой раздел отсутствует или прописан очень формально. Это тоже ограничивает возможности использования указанного подхода.

• Инспекционные выходы в организацию экспертов и метод «контрольной закупки». Эти методы оценки качества образовательных условий имеют те же ограничения и риски, что и предыдущий. Особая сложность заключается в их трудоемкости. Для инспекционных экспертных оценок требуется не просто большое количество специалистов, но эти специалисты должны быть высококвалифицированными и хорошо бы профильными: музыканты, инженеры… Среди рисков также следует помнить о субъективности экспертных оценок.
• Удовлетворенность качеством условий всех участников образовательного процесса. Как и при оценке удовлетворенности образовательными результатами здесь высок риск получить формальные ответы, имеющие низкий уровень информативности. Для снижения этого риска необходимо качественно проработать вопросы анкеты. Правильное построение вопросов позволяет не только определить долю удовлетворенных участников опроса, но и выявить хотя бы основные причины неудовлетворенности (рисунок 6). Последнее особенно важно для совершенствования работы и повышения качества образовательного процесса.

Рисунок 6. Фрагмент Анкеты для опроса потребителей образовательных услуг (родителей) при проведении независимой оценки деятельности по реализации дополнительных общеобразовательных программ по робототехнике (совместная разработка Ресурсного центра ГБПОУ г. Москвы «Воробьевы горы» и Института образования НИУ ВШЭ, 2016 г.).

В добавление ко всем указанным ранее барьерам и ограничениям социологических опросов стоит упомянуть различие взглядов и оценок разных категорий субъектов. На примере исследования, проведенного в 2016 году Институтом образования НИУ ВШЭ совместно с общественно-экспертным советом по ДОД и ГБПОУ г. Москвы «Воробьевы горы», можно увидеть, как родители, педагоги и дети оценивают разные элементы образовательных условий. Родители более критичны, чем педагоги и дети, к качеству гигиенических условий в учебных помещениях; а дети считают, что у них не такие уж высокие возможности развития своих способностей (рисунок 7).

Рисунок 7. Пример графического представления части результатов в рамках проведения независимой оценки деятельности по реализации дополнительных общеобразовательных программ по робототехнике (совместная разработка Ресурсного центра ГБПОУ г. Москвы «Воробьевы горы» и Института образования НИУ ВШЭ, 2016 г.).

3-е направление: Оценка методического качества образовательных программ.

По мнению многих экспертов, образовательные программы можно рассматривать как одно из ключевых условий образовательного процесса. Качество образовательной программы является обязательным условием качества образовательной деятельности, условием достижения высоких образовательных результатов.

Образовательная программа определяет содержание учебного материала и технологии образовательного процесса. Важным элементом образовательной программы является наличие описания образовательных результатов, на которые она ориентирована, и способов оценки достижения этих результатов. Эти разделы определяют содержание и механизмы оценки индивидуальных достижений обучающихся.

На основании требований, зафиксированных в дополнительных общеобразовательных программах, можно определить какие условия необходимы для их эффективной реализации.

Образовательная программа разрабатывается и утверждается организацией, осуществляющей образовательную деятельность. Вариативность, присущая ДОД, создает не только возможности для педагогов реализовать свой потенциал и свои идеи, но также порождает возможности для профанации деятельности: скачивание из интернета готовых программ, списывание и т.д.

Всё это определяет особое пристальное внимание к качеству программ ДОД.

Оценка методического качества дополнительных общеобразовательных программ может иметь собственную, вполне формализуемую, методику, например, разработанную специалистами Москвы (МИОО[4]). Как правило, при проведении экспертизы учитывается наличие всех необходимых разделов дополнительной общеобразовательной программы, связность их содержания между собой (например, чтобы учебный план соответствовал поставленной цели, цели соответствовали возрасту контингента и т.д.), педагогический (образовательный) потенциал программы и ее актуальность.

При оценке методического качества образовательных программ ДОД используется метод профессионально-общественной экспертизы. При этом включаются многие механизмы из тех, которые используются при проведении профессионально-общественной аккредитации профессиональных образовательных программ, в первую очередь, – привлечение к оценке профильных специалистов (музыкантов, инженеров…).

Принципиально важно, что оценка методического качества образовательных программ проводится в интересах авторов, разработчиков программ, с целью определения соответствия содержания программы заявленным в ней целям и задачам, потребностям физических и юридических лиц, в интересах которых осуществляется образовательная деятельность. Проводиться она должна исключительно на основе добровольной заявки авторов программы или организации, реализующей данную программу.

Поскольку авторы являются основной целевой группой результатов такой экспертизы, это накладывает определенные ограничения на их открытость. По желанию авторов программы (или с их согласия) результаты экспертизы могут быть представлены на сайте программы (организации) ДОД в виде значка или сертификата «Программа прошла добровольную экспертизу». Отрицательный результат публиковать нецелесообразно.

Авторы программы в результате проведения экспертизы должны получить развернутое и обоснованное заключение экспертов с рекомендациями по доработке и совершенствованию программы. При этом желательно соблюдать инкогнито обеих сторон: эксперты не должны знать, кто автор программы, авторам не должно быть известно, кто их оценивал.

Обобщенные обезличенные результаты такой экспертизы являются хорошим материалом для муниципальных методических центров и региональных институтов повышения квалификации работников образования при выявлении типичных ошибок и недоработок авторов дополнительных общеобразовательных программ и построении для них учебных курсов.

Оценка методического качества образовательных программ ДОД может проводиться в формате конкурсов или добровольной сертификации. В качестве примера конкурсного формата можно привести открытый конкурс в сфере дополнительного образования детей и взрослых «ТОЧКИ РОСТА» (ГБПОУ г. Москвы «Воробьевы горы»).

Вопросы открытости важны для всех направлений оценки качества ДОД. Здесь действуют все те требования и правила, которые характерны для открытости любых оценочных процедур и мониторингов: максимальная прозрачность методик и процедур; публикация результатов в доступном, понятном и полезном для пользователей формате и т.д. Но эти правила необходимо преломить через призму специфики системы ДОД. Здесь опять на первое место выходит такая единица, как программа или детское объединение.

Пользователям нужна информация о программах или детских объединениях, но публикуется чаще всего информация об организации в целом. Редко на каких сайтах организаций, реализующих программы ДОД, можно найти подробные сведения обо всех этих программах. Сайты организаций ДОД в этом отношении более информативны, чем сайты школ, детских садов, колледжей, вузов.

Добровольность обучения и выбор программ ДОД в условиях такой информационной недостаточности привели к попытке построить Навигаторы по этим программам. Государство и здесь использовало свои нормирующие функции, обозначив создание Навигаторов в качестве одной из ключевых задач приоритетного национального проекта «Доступное дополнительное образование для детей». Пока трудно сказать, с каким результатом сработает данное требование.

С точки зрения оценки качества ДОД, Навигаторы имеют высокий потенциал и как информационное пространство для размещения результатов оценки (разных результатов, разных оценок на визитных карточках программ), и как инструмент проведения оценки (например, экспертиза программ через систему личных кабинетов авторов и экспертов; конкурсные механизмы; проведение опросов и т.д.).

Ключевые выводы

Оценку проводить надо, но она должна быть вариативной и многофакторной, чтобы учесть и сохранить разнообразие программ ДОД и повысить их качество. Полезным решением для системы дополнительного образования мог бы стать «Альбом подходов к оценке качества программ ДОД» с описанием их специфик, «плюсов» и «минусов» каждого подхода.

Список литературы

1. Ковалёва Г.С., Логинова О.Б. Успешная школа и эффективная система образования: какие факторы помогают приблизиться к идеалу? По данным исследования PISA-2015 // Народное образование. – № 8. – 2017.
2. Мерцалова Т.А. Независимая оценка и рейтинги в образовании: стратегия управления // Народное образование. – № 7. – 2014.
3. Мерцалова Т.А. Родительское представление о качественном образовании // Инновации в дополнительном образовании: опыт и перспективы: материалы межрегиональной научно-практической конференции, г. Якутск, 18-20 декабря 2017 г. – Якутск, 2017.
4. Модернизация организационно-экономических механизмов в системе дополнительного образования: сборник документов. – М., 2018.
5. Петлин А.В. Использование источников и типов информации при выборе учреждения дополнительного образования различными группами семей // Вестник Костромского государственного университета. – №3. – 2017.
6. Приказ ДОгМ от 17.12.2014 №922 «О мерах по развитию дополнительного образования детей в 2014/2015 учебном году»
7. Приказ Минобрнауки России от 29 августа 2013 г. №1008 г. Москва «Об утверждении Порядка организации и осуществления образовательной деятельности по дополнительным общеобразовательным программам»
8. Приказ Минобрнауки России от 05.10.2017 №1002 «Об утверждении перечня олимпиад и иных интеллектуальных и (или) творческих конкурсов, мероприятий, направленных на развитие интеллектуальных и творческих способностей, способностей к занятиям физической культурой и спортом, интереса к научной (научно-исследовательской), инженерно-технической, изобретательской, творческой, физкультурно-спортивной деятельности, а также на пропаганду научных знаний, творческих и спортивных достижений, на 2017/2018 учебный год»
9. Федеральный закон РФ от 29.12.2012 г. № 273-ФЗ «Об образовании в Российской Федерации», статья 95.2.

[1] Для разных уровней конкурсных мероприятий можно считать отдельно, и вводить соответствующие весовые коэффициенты значимости для каждого уровня.

[2] Образовательная инфраструктура – материальные условия в которых осуществляется образовательный процесс.

[3] Образовательная среда – система отношений, возникающих в этих условиях, когда в них приходят люди/субъекты.

[4] Сейчас проводит Московский центр развития кадрового потенциала (подведомственная организация Департамента образования города Москвы).