Diseño de pruebas para la evaluación diagnóstica. Una experiencia con profesores

Resumen

DISEÑO DE PRUEBAS PARA LA EVALUACIÓN DIAGNÓSTICA EN MATEMÁTICAS. UNA EXPERIENCIA CON PROFESORES El propósito general de esta investigación consiste en fundamentar, planificar, implementar y valorar los logros de un curso de formación para profesores en ejercicio centrado en el análisis, el diseño y la selección de tareas mediante las cuales promover y desarrollar la competencia matemática escolar en la Educación Secundaria Obligatoria (ESO). Focalizamos su interés en identificar y describir la competencia profesional¿ definida como el conglomerado de conocimientos, habilidades y actitudes¿ requerida por los profesores de matemáticas de educación secundaria para elaborar tareas con las cuales promover el aprendizaje escolar y evaluar el desarrollo y el nivel de la alfabetización matemática. DESCRIPCIÓN GENERAL DE LA INVESTIGACIÓN El foco de esta investigación reside en el aprendizaje realizado por un grupo de profesores de secundaria en ejercicio, en los conocimientos alcanzados, las capacidades y las actitudes desarrolladas por ellos, como resultado de su participación en un curso-taller de desarrollo profesional dedicado al análisis, diseño y selección de tareas matemáticas escolares. El objetivo del curso-taller consistió en promover el aprendizaje de competencias profesionales por los profesores de matemáticas de secundaria en ejercicio, mediante los cuales elaborar y/o seleccionar tareas matemáticas escolares. Los nueve participantes en el curso-taller proporcionaron la información empírica analizada. Estos profesores participaron en un marco de reflexión e instrucción curricular específico, adecuado para el análisis, selección y diseño de tareas con las que evaluar la alfabetización matemática de los estudiantes de nivel secundario. ¿ Nuestra investigación se ubica en el contexto de la reforma curricular ocurrida a raíz de la aprobación de la LOE en 2006 (Ministerio de Educación y Ciencia, 2006), ley que marca una evolución de las orientaciones educativas en España. Los fines, principios y directrices de esta ley sirven de marco a nuestra investigación según tres de los cambios relevantes introducidos por esta. Interrelacionados entre sí, dichos cambios constituyen los focos principales que orientan este estudio: la innovación curricular, centrada en la noción de competencia; la evaluación del aprendizaje de los escolares, tanto en el corto como en el largo plazo, junto con otros procesos para evaluar la calidad del sistema educativo; y la formación de profesores, como agentes de cambio y mejora, promotores de la calidad educativa. ANTECEDENTES DE LA INVESTIGACIÓN A partir de los focos principales mencionados, ubicamos nuestro trabajo en la trayectoria del Grupo de Investigación ¿Didáctica de la Matemática. Pensamiento Numérico¿ de la Universidad de Granada, dentro de tres de sus líneas principales: Calidad y Evaluación de Programas de Formación en Matemáticas; Formación de Profesores de Matemáticas y Diseño, Desarrollo e Innovación del Currículo de Matemáticas. Dentro de este grupo se han llevado a cabo estudios orientados a la evaluación de programas de formación de profesores así como estudios sobre innovación y cambio curricular, antecedentes que sustentan nuestra investigación. Por otro lado, consideramos como precedente principal de este trabajo el estudio sobre las tareas matemáticas escolares y las funciones que desempeñan en el desarrollo de la competencia matemática y en la evaluación de los escolares, llevado a cabo por la autora de esta memoria para su trabajo de fin de máster (Caraballo, 2010), y cuyos resultados fueron publicados posteriormente (Caraballo, Rico y Lupiáñez, 2011a y b). En el año 2010 culminamos la investigación Análisis de los ítems de las pruebas de evaluación de diagnóstico en competencia matemática para el segundo curso de la Educación Secundaria Obligatoria en España, 2008-2009. Un estudio exploratorio. El objetivo general del estudio era determinar el grado de ajuste al modelo PISA de los instrumentos elaborados por las Consejerías de Educación de las Comunidades Autónomas para atender a la evaluación de diagnóstico en el curso segundo de la ESO. En ese estudio trabajamos con pruebas procedentes de la primera aplicación de las evaluaciones autonómicas de diagnóstico en competencia matemática, realizadas en el curso académico 2008-2009. Los resultados de la investigación, basados en el análisis de los ítems incluidos en estas pruebas, detectaron sesgos y deficiencias en las pruebas estudiadas, las cuales mostraron serias limitaciones para atender al propósito con el cual fueron diseñadas. A partir de los resultados obtenidos concluimos que, para cumplir con el grado de ajuste adecuado a las evaluaciones PISA, se requiere que las Comunidades Autónomas revalúen el diseño de las pruebas a la luz de las finalidades establecidas y de las variables consideradas en la caracterización de dichas pruebas. De las conclusiones derivadas de este estudio reflexionamos acerca de la obligación que tiene el profesorado de proporcionar a los alumnos los conocimientos y las competencias básicas que establece el currículo, y la responsabilidad de hacer útiles y eficaces estas herramientas para enfrentar multitud de cuestiones y problemas en la vida cotidiana. En este panorama el profesor juega un papel determinante y realiza los ajustes necesarios para asumir las reformas curriculares y ponerlas en vigor en su práctica docente. De esta manera, se concretó la idea de diseñar un curso para formar a los profesores de matemáticas de secundaria sobre estas cuestiones, proceder a su implementación y puesta en práctica para, posteriormente, pasar a su evaluación. PROBLEMAS QUE ABORDA ESTA INVESTIGACIÓN Los cambios introducidos en el currículo implican cambios en la actividad de los profesores. Los procesos de cambio curricular conllevan replanteamientos y modificaciones en las competencias de los profesores para planificar la enseñanza, para implementar lo planificado, observar, gestionar y orientar el aprendizaje de los escolares, y también de su competencia como evaluadores, que se manifiesta en la mejora y en los cambios de sus prácticas de evaluación (Gil, 1999). En la implementación de la reforma subyace la coherencia entre las prácticas curriculares, su enseñanza y su evaluación, que se manifiesta mediante los propósitos, la responsabilidad, la participación y el compromiso de todos los agentes implicados en el proceso (Cowie, Hipkins, Keown, y Boyd, 2011). Los focos que centran este estudio surgen de la reforma curricular establecida por la LOE y vienen regulados por un nuevo marco normativo. De las implicaciones de estos focos identificamos tres campos de problemas. El primer campo de problemas que contempla este estudio procede del foco curricular, derivado de la inclusión de nuevas expectativas de aprendizaje. Las competencias básicas provienen de un modelo funcional de enseñanza/ aprendizaje, en el cual el dominio de los contenidos matemáticos se muestra por su uso eficaz en tareas contextualizadas. El segundo campo de problemas procede del marco teórico para evaluar las competencias en el largo plazo mediante tareas matemáticas escolares. El sistema educativo español organiza la evaluación de las competencias básicas, singularmente, de la competencia matemática. La evaluación de diagnóstico en matemáticas, para primaria y secundaria, está vinculada con la correspondiente evaluación PISA. Los indicadores de resultados del Sistema estatal de indicadores de la educación (Instituto de Evaluación, 2010, p. 11), fundamentan el vínculo entre las pruebas de diagnóstico y la evaluación PISA. Las pruebas de diagnóstico en matemáticas deben ajustarse al modelo de evaluación establecido por el marco teórico de PISA, basado en un tipo definido de tareas matemáticas escolares. No solo en las pruebas diagnósticas sino también en los procesos de enseñanza y aprendizaje adquiere relevancia el tipo de tareas matemáticas escolares derivadas de dicho marco teórico, ya que mediante éstas se pretende evaluar el desarrollo de la competencia matemática de los escolares y su progreso durante el sistema educativo. Destacamos que los criterios de evaluación predeterminan la evaluación de competencias mediante su relación con los objetivos. El tercer campo de problemas que delimita este trabajo reside en las funciones del profesorado y en su papel como promotores y gestores de los procesos de evaluación escolar, que es el tercer foco del estudio considerado. El profesorado requiere, durante su formación, inicial y permanente, de unos conocimientos, capacidades y actitudes sobre la evaluación del aprendizaje matemático de los escolares. Es decir, el profesor de matemáticas necesita desarrollar y afianzar una competencia profesional propia, específica, para evaluar la alfabetización matemática escolar. Los campos problemáticos descritos muestran cuestiones que deben abordarse por las siguientes razones educativas y sociales: ¿ El impacto producido por las evaluaciones PISA, junto con la preocupación social generada por los bajos resultados alcanzados reiteradamente en España (Maestro, 2006) ¿ La aplicación anual de pruebas de diagnóstico para evaluar el desarrollo de las competencias básicas de los escolares del segundo curso de la ESO (Caraballo, 2010) ¿ La ampliación del ámbito de trabajo del profesor de matemáticas, derivada de la consideración de la competencia matemática escolar, que fundamenta los cambios curriculares y normativos (Gil y Vilches, 2006) ¿ El papel central que desempeñan en el aprendizaje de los escolares las tareas y secuencias de tareas matemáticas (NCTM, 1991; Kilpatrick, Swafford y Findell, 2001) ¿ La necesaria mejora del dominio técnico por parte del profesor en ejercicio relativa a características, funciones y variables de las tareas matemáticas escolares y su evaluación (Baartman, Bastiaens y Kirschner, 2004; Boston y Smith, 2009, Zaslavsky, 2008) PREGUNTAS Y OBJETIVOS DE INVESTIGACIÓN Formulamos las siguientes preguntas de investigación: 1. ¿Qué conocimientos y capacidades didácticas requieren los profesores de matemáticas de secundaria para evaluar de modo competente el nivel y desarrollo de la alfabetización matemática de los escolares? a. ¿Qué requisitos debe satisfacer un curso-taller que atienda a estos requerimientos? 2. ¿Qué cambios en el conocimiento didáctico en cuanto al diseño y la selección de tareas matemáticas escolares ocurren como resultado de la experiencia de desarrollo profesional del curso-taller? a. ¿Qué aprendizajes profesionales pueden asociarse con estas experiencias? b. ¿Cómo se documentan y detectan estos cambios? 3. ¿Cómo los profesores aplican y gestionan en la práctica los conceptos aprendidos y capacidades desarrolladas durante la experiencia en el curso-taller para diseñar tareas y secuencias de tareas orientadas al desarrollo y la evaluación de la competencia matemática? a. ¿Cómo enfocan estos nuevos conocimientos en las evaluaciones de diagnóstico de manera adecuada? Las preguntas de investigación orientaron el logro de evidencias para atender los campos de problemas identificados, mediante un objetivo general: Evaluar la calidad de un programa dirigido a promover y desarrollar la competencia profesional de los profesores de matemáticas en ejercicio en el diseño y la selección de tareas para evaluar la alfabetización matemática de los escolares de educación secundaria. Este objetivo se desglosó en objetivos específicos para el logro particular de los aspectos considerados y la respuesta a las preguntas de investigación formuladas. 1. Caracterizar tareas que evalúen la competencia matemática básica escolar, a partir de los requerimientos establecidos por la LOE. 2. Caracterizar los conocimientos y las capacidades profesionales necesarios para el diseño y la selección de esas tareas. 3. Describir y explicar las estrategias y los argumentos con que los profesores aplican y elaboran tareas y propuestas para la evaluación diagnóstica. 4. Caracterizar el desarrollo de los conocimientos y las capacidades de los profesores para evaluar la competencia matemática escolar. 5. Evaluar la relevancia, eficiencia y eficacia del programa de formación implementado para el desarrollo de la competencia profesional de los profesores, atendiendo a la evaluación de la competencia matemática escolar. PERTINENCIA DE LA INVESTIGACIÓN Los fines y principios que subyacen la reforma educativa se orientan a la mejora de la calidad del sistema y del desempeño académico de los alumnos. Esta orientación destaca la importancia de la figura del profesor y su responsabilidad para alcanzar los objetivos de mejora pretendidos. La introducción de la competencia matemática como una innovación curricular demanda que los profesores interpreten y comprendan la naturaleza y el propósito de esta noción. Esta acción, como respuesta a las directrices curriculares, conducirá al desarrollo de conocimientos didácticos y de prácticas docentes orientadas a gestionar la enseñanza, el desarrollo y la evaluación de esta competencia. Atender las directrices del currículo español vigente requiere que los profesores reflexionen sobre sus prácticas actuales y realicen los cambios y ajustes necesarios para adaptarse a las nuevas orientaciones. Para que una reforma educativa sea exitosa es necesario que el profesorado conozca su alcance y se involucre activamente en el desarrollo e implementación de las políticas establecidas (van Veen & Sleegers, 2006; Leander y Osborne, 2008; Luttenberg, van Veen e Imants, 2011). Si los profesores no se apropian de la reforma, es poco probable que puedan implementarse cambios significativos con éxito (OECD, 2005, p.11). La respuesta a esas directrices curriculares requiere, a su vez, orientación y desarrollo profesional que capacite a los profesores para enseñar matemáticas de manera integrada y elaborar tareas que atiendan a su evaluación. De esta manera promoverán en sus alumnos la adquisición y el desarrollo de capacidades y de la competencia matemática que les permitan comprender, interpretar y resolver problemas reales a lo largo de su vida. El curso-taller que implementamos se fundamenta en la propuesta de reestructuración del currículo español de matemáticas dentro de una perspectiva de innovación educativa basada en la noción de competencia, su significado y su relevancia. Este enfoque sirve de apoyo para promover una reorientación significativa de la planificación de la instrucción, la evaluación y la enseñanza de las matemáticas en conjunto. Nuestra investigación con profesores en servicio se centra en sus conocimientos sobre el análisis, el diseño y la selección de tareas matemáticas a partir de la aplicación de las directrices curriculares, particularmente las relativas a los procesos de evaluación. En el curso-taller que desarrollamos y que describimos en este informe, nos centramos en el análisis y diseño de tareas para evaluar la competencia matemática general, es decir, el aprendizaje de conocimientos y el desarrollo de capacidades matemáticas por los estudiantes a largo plazo. Para ello hacemos uso de tareas que aportan evidencias sobre el logro de los objetivos establecidos para cada uno de los contenidos del currículo. La consideración de la contribución que se hace desde los objetivos específicos a las competencias generales enlaza el análisis y diseño de las tareas escolares específicas con la evaluación de la competencia matemática. Puesto que el profesor es quien plantea las tareas a los alumnos en la sala de clase, desarrollar y promover la alfabetización matemática depende de sus conocimientos y de su habilidad para seleccionar tareas que estimulen competencias matemáticas específicas relevantes como pensar, razonar y resolver problemas. En este curso-taller se proporcionó a los profesores un marco de referencia y de reflexión como apoyo para profundizar en el análisis, diseño y elaboración de tareas dirigidas a evaluar la competencia matemática escolar. Nuestra expectativa consistió en que, a medida que los profesores dominaran el marco, se generarían cambios en sus prácticas docentes de seleccionar y diseñar tareas con ese propósito. Esta expectativa se apoyó en la conjetura de que, al reflexionar sobre su propia práctica, los profesores analizarían y determinarían qué tipo de ajustes resultaban necesarios para enseñar de acuerdo a las pautas nuevas impuestas por la reforma. A medida que reflexionaran sobre sus prácticas docentes actuales y a medida que se involucraran en la práctica de diseñar y seleccionar tareas, los participantes deberían efectuar cambios educativos dirigidos a mejorar sus competencias profesionales de planificación de la enseñanza y evaluación del aprendizaje escolar. Las reflexiones y las expresiones de los profesores participantes en el curso-taller arrojaron luz sobre el papel que los profesores perciben que desempeñan dentro de los procesos de cambio educativo y desarrollo curricular. MARCO CONCEPTUAL Nuestra investigación se centra y aborda tres focos derivados de tres cambios notables introducidos y regulados por la normativa establecida por la LOE: innovación curricular y noción de competencia; procesos de evaluación para mejorar la calidad del sistema educativo; formación de profesores de matemáticas como agentes de cambio y mejora. Enfatizamos que las tareas matemáticas escolares están implicadas y son parte integrante de cada uno de los focos. Estas prioridades orientan y subyacen el marco conceptual que desarrollamos. Estructuramos nuestro marco conceptual en torno a tres categorías principales: la perspectiva curricular y competencial; los procesos de evaluación del sistema educativo que incluyen el marco de evaluación PISA y las evaluaciones de diagnóstico en España; y la formación de profesores enfocada en su desarrollo profesional durante el ejercicio de su profesión. Incluimos una cuarta categoría, la evaluación de programas educativos, que sirve de apoyo teórico al enfoque adoptado para evaluar el programa de formación que desarrollamos y que explicamos en el marco metodológico. Destacamos que la literatura consultada permitió clarificar las ideas que enmarcan el estudio y aproximarnos a los campos de problemas abordados y explicados anteriormente. Primero, conceptuamos el currículo según definido por la LOE¿ compuesto de objetivos, contenidos, metodología, competencias y evaluación¿ y estructurado en términos de dimensiones y niveles de reflexión. Esta estructura le imparte un carácter sistémico y dinámico. Sistémico porque los componentes no ocurren aisladamente sino de manera estructurada; dinámico, porque se ajusta a los cambios sociales y responde a una realidad cultural. Destacamos que el currículo es un elemento del conocimiento profesional del profesor de matemáticas¿ tanto en formación inicial como permanente¿ en cuanto que, para enseñar eficazmente, debe conocer sus fundamentos, prioridades y recomendaciones. Estos le aportarán criterios para su actuación, toma de decisiones y gestión diaria en el aula (Rico, 1990). Hemos considerado la noción de competencia como un nivel de expectativas que el currículo considera. La introducción del concepto de competencia se considera un cambio significativo en las normativas curriculares al mismo tiempo que exige un cambio de los métodos tradicionales de enseñanza seguidos hasta el momento, hacia métodos enfocados en la comprensión conceptual y el desarrollo de la competencia matemática en los alumnos. Nuestro estudio se centra en la competencia matemática como una de las ocho competencias básicas del currículo propuestas por la LOE, considerada un saber imprescindible para que los alumnos se desempeñen adecuadamente en el ambiente en que viven (Rico y Lupiáñez, 2008). Segundo, destacamos las evaluaciones del proyecto PISA y las evaluaciones de diagnóstico en España como los procesos de evaluación diagnóstica que enmarcan nuestra investigación. Ambos marcos están estrechamente vinculados y sirven de apoyo a la valoración de la comprensión de los docentes en ejercicio de los enfoques y los métodos que deben desarrollar para evaluar la alfabetización matemática en el aula como respuesta a las directrices de la reforma curricular, propósito principal de nuestra investigación. Congruente con las nociones de currículo y de competencia adoptadas en esta investigación, la evaluación que realiza el profesor en el aula debe ser formativa y determinar hasta qué grado se han desarrollado las competencias establecidas como expectativas de aprendizaje al inicio del proceso de enseñanza-aprendizaje, para posteriormente tomar decisiones respecto a la mejora de esos resultados. Las pruebas PISA de 2003 (OCDE, 2003) evalúan la alfabetización matemática y están estructuradas en torno a tres variables de tarea¿ contenido, contexto y nivel de complejidad¿ y ocho competencias matemáticas específicas¿ pensar y razonar, argumentar, comunicar, modelizar, plantear y resolver problemas, representar, usar lenguaje formal, técnico y simbólico y las operaciones, y usar ayudas y herramientas¿ como variable de desempeño. PISA trasciende el currículo escolar y valora las competencias desarrolladas por los alumnos fuera del ámbito escolar mediante la aplicación de la alfabetización en situaciones reales. La caracterización que hace PISA de la competencia matemática responde y se ajusta al modelo funcional del aprendizaje matemático que se centra en cómo los alumnos aplican los conocimientos adquiridos mediante los contenidos curriculares para enfrentarse a situaciones cotidianas (Rico, 2006). Las evaluaciones de diagnóstico en España se ajustan al modelo de las evaluaciones PISA, tienen como objetivo inmediato evaluar las competencias básicas definidas en el currículo y aportan información útil, que permite a los agentes involucrados introducir mejoras al sistema en conjunto. Este marco fue referente importante para el programa de formación que implementamos cuyo propósito principal era formar a los profesores participantes en el diseño y en la selección de tareas, que sirvieran para encaminar a sus alumnos a superar con éxito las pruebas de diagnóstico. Tanto el modelo de evaluación PISA como las evaluaciones de diagnóstico del sistema educativo español se orientan al desarrollo de la competencia matemática mediante la realización de tareas matemáticas escolares. En la caracterización que hace PISA de las tareas matemáticas fundamentamos la elaboración de tareas escolares que orientó el curso-taller y el trabajo práctico de los participantes. Las tareas matemáticas escolares constituyen la esencia de esta investigación. Las tareas juegan un papel preponderante en la enseñanza y el aprendizaje de las matemáticas. En nuestro trabajo hemos definido tarea matemática escolar como: Toda demanda estructurada de actuación cognitiva propuesta al estudiante, que requiere su reflexión sobre el uso de las matemáticas, y que el profesor presenta intencionalmente como un medio para el aprendizaje o como una herramienta de evaluación. Las propuestas que no contemplan expectativas de aprendizaje, explícitas o implícitas, y cuyo resultado el profesor no pueda utilizar para evaluar sus logros, quedan excluidas de esta consideración. Para diseñar y seleccionar tareas escolares los profesores de matemáticas necesitan un conjunto de conocimientos, capacidades y actitudes matemáticas así como experiencia y conocimiento profesional. Igualmente se requiere que desarrollen un proceso de identificación, análisis y organización de las tareas para diseñar unidades didácticas y realizar los procesos de enseñanza y aprendizaje. Hemos enfatizado en las tareas como la parte central de toda unidad didáctica y como medio para promover en los alumnos el desarrollo de la competencia matemática (Lupiáñez, 2010). Los procesos de planificación de programas de formación y de evaluación de agentes e instituciones educativas, fundados en el replanteamiento curricular y, por consiguiente, en la mejora de la calidad educativa, encuentran que el análisis y diseño de tareas es parte relevante de la actuación profesional del profesorado para el logro de la competencia matemática y para su evaluación. Tercero, subrayamos el rol predominante que desempeñan los profesores de matemáticas en la implementación exitosa de la reforma curricular y la necesidad de ampliar su ámbito de trabajo y adquirir formación específica para lograrlo. Hemos enfocado esta formación en los profesores en el ejercicio de su profesión y destacamos las experiencias de desarrollo profesional como recurso para mejorar la calidad de su enseñanza. Consideramos que el desarrollo profesional de los profesores de matemáticas permite y facilita adquirir, mejorar y modificar los conocimientos, capacidades y actitudes que les conducirán a desempeñar su labor de una manera efectiva para mejorar el rendimiento de sus alumnos (Lupiáñez, 2009). Cuarto, destacamos que nuestro trabajo otorga importancia al conocimiento didáctico y a las competencias del profesor. Para efectos de nuestra investigación, hemos denominado competencias profesionales para enseñar matemáticas al conjunto de conocimientos, capacidades y actitudes que poseen los profesores para enseñar y promover la competencia matemática en sus alumnos. Hemos adoptado el modelo de Niss (2011) y sus seis competencias profesionales¿ curricular, enseñar, diagnosticar el aprendizaje, evaluar, colaborar y desarrollo profesional¿ que ha de desarrollar un profesor de matemáticas. Hemos enfocado la experiencia de desarrollo profesional que ofrecimos a los informantes del estudio a las competencias de planificación y evaluación. No obstante, hemos enfatizado que en su trabajo durante la experiencia de desarrollo profesional que realizamos los profesores evidenciaron desarrollo igualmente en las demás competencias. Por otro lado, fundamentamos el análisis de las tareas elaboradas en el análisis didáctico, específicamente el análisis cognitivo y el análisis de instrucción. En nuestra investigación el análisis didáctico cumple tres funciones: curricular, profesional e investigadora (Rico y Fernández-Cano, 2013). El curso-taller desarrollado en este estudio utiliza estos conocimientos para mejorar las competencias profesionales de los profesores participantes, especialmente las de planificar e implementar tareas de evaluación con las cuales valorar el desarrollo y logro de la competencia matemática escolar. Hemos documentado el conocimiento didáctico manifestado por los profesores durante la experiencia de desarrollo profesional concretada en el curso-taller que implementamos. Hemos definido operacionalmente esta noción como el conjunto de conocimientos y capacidades que los profesores ponen en juego para aplicar el análisis cognitivo y el análisis de instrucción en el diseño y la selección de tareas dirigidas a evaluar la competencia matemática. Finalmente, y acorde con el carácter evaluativo de nuestra investigación, definimos un programa educativo como un plan estructurado de intervención, recogida y análisis de información que persigue el cumplimiento de los objetivos de formación claramente estipulados. Con base en esta concepción hemos concretado su evaluación como el proceso de usar la información recogida para valorarlo en todos sus componentes. Hemos revisado y descrito varios enfoques de evaluación de programas para encuadrar teóricamente, orientar metodológicamente y justificar el enfoque adoptado para evaluar nuestro programa. MARCO METODOLÓGICO Y DISEÑO DE LA INVESTIGACIÓN Esta investigación es un estudio evaluativo; tiene como antecedentes la reforma curricular iniciada en España con la LOE en 2006 y los resultados de la investigación realizada por los investigadores de este estudio en 2010. La incorporación de la noción de competencia en todos los niveles del currículo y la necesidad identificada de formar profesores en el diseño y la selección de tareas con las que evaluar la competencia matemática motivaron la propuesta de diseñar, implementar y valorar el programa de formación que describimos en esta memoria. Abordamos la naturaleza y la dirección de los cambios producidos en los conocimientos, capacidades y actitudes sobre la evaluación de la alfabetización matemática escolar en los profesores, mediante el diseño y la selección tareas. Para lograrlo aplicamos métodos propios de la investigación cualitativa en un estudio con propósitos descriptivos, explicativos y evaluativos. Describimos el desempeño de un grupo de profesores en servicio en un programa de formación e identificamos factores que contribuyen a explicar los cambios experimentados por dichos profesores durante la experiencia en sus conocimientos, competencias y actitudes. El trabajo de campo lo desarrollamos mediante un curso-taller con profesores en ejercicio; en su transcurso recogimos información procedente del trabajo empírico con los participantes. Esta modalidad de formación permitió combinar aspectos teóricos y aplicaciones prácticas. El curso-taller se desarrolló en tres fases: diseño y planificación, implementación y evaluación. En la primera fase diseñamos el programa y planificamos su implementación. En la segunda fase pusimos en marcha el programa. En la tercera fase analizamos e interpretamos los resultados, determinamos el logro de los objetivos y valoramos la experiencia. Los informantes voluntarios en el estudio fueron los profesores asistentes a este curso. Observamos y documentamos los cambios experimentados por los participantes durante el curso-taller mediante diversas fuentes de información. Complementamos nuestras observaciones con la propia apreciación de cambio que expresaron los participantes en el transcurso de la experiencia. El diseño de la investigación se orienta mediante la metodología de evaluación de programas. Luego de una revisión teórica de esta metodología ajustamos nuestro plan de evaluación a las propuestas de Maher (2012), Kirkpatrick (2006) y Pérez-Juste (2006). Maher propone concretar la evaluación sobre cuatro criterios: factibilidad, utilidad, legalidad y calidad técnica. Kirkpatrick propone un enfoque de cuatro niveles de los cuales ajustamos los dos primeros¿ reacción y aprendizaje¿ a las características específicas de nuestro programa. Pérez-Juste propone evaluar un programa en sus fases de planificación, implementación y evaluación mediante una pauta. Las fases establecidas en la metodología para evaluar la calidad del programa de formación contribuyeron, conjuntamente, a su evaluación integral. Gómez y colaboradores (2006) parten de la concepción funcional de la calidad propuesta por Harvey y Green en 1993 y afirman que "existe calidad en la medida en que un servicio se ajusta a las exigencias para cuya satisfacción fue concebido" (p. 2). Podemos así afirmar que la calidad se define en función del propósito que conlleva. En nuestro trabajo adoptamos el modelo de calidad de programas de formación propuesto por Rico y colaboradores (Rico et al., 2003, p. 259) en el grupo de investigación ¿FQM193 Didáctica de la Matemática. Pensamiento Numérico¿, articulado en torno a tres dimensiones: ¿ Relevancia, como medida del grado en el que el programa de formación resultó adecuado u oportuno a los requerimientos y expectativas del entorno, sus participantes y el contexto de aplicación ¿ Eficiencia, como medida del grado de viabilidad de la puesta en práctica del programa mediante utilización y optimización de los medios y las circunstancias de aplicación ¿ Eficacia, como medida del grado de logro de los objetivos planteados Estos investigadores proponen organizar este concepto de la calidad con los objetivos del programa de formación planteados como núcleo. Para determinar la relevancia de nuestro programa se tomaron en consideración criterios relacionados con elementos de la fase de planificación: finalidad, participantes, contexto, contenido, estructura y viabilidad. Para determinar la eficiencia del programa tomamos en consideración criterios relacionados con los recursos y medios utilizados durante la fase de implementación del programa. Para determinar la eficacia se tomaron en consideración criterios destacados de la fase de valoración: resultados apreciables de la puesta en marcha del programa y el logro de los objetivos. Adaptamos la pauta original propuesta por Pérez-Juste (2006) a nuestros propósitos y elaboramos una pauta de 46 indicadores adaptada a nuestros propósitos para evaluar las fases de planificación, implementación y resultados del programa. Para evaluar la fase de planificación tomamos en consideración la relevancia a los participantes y al contexto; las características técnicas; la pertinencia del contenido; la evaluabilidad y la formación de los formadores. Para evaluar la fase de implementación tomamos en consideración la puesta en marcha y el marco de aplicación. Para evaluar la fase de resultados consideramos, por un lado, la valoración de los logros alcanzados en cuanto a la evolución de los participantes en tres aspectos: cambios en el conocimiento didáctico, desarrollo de las capacidades para diseñar y seleccionar tareas con las que evaluar la competencia matemática de los escolares y cambio en las actitudes sobre su práctica docente y, por el otro, la satisfacción con el programa expresada por los participantes. Recogimos la información pertinente a los objetivos de la investigación mediante tres tipos de fuentes diferentes: tareas grupales, reflexiones escritas y encuestas. La información recogida a través de estas fuentes documentales fue complementada con descripciones detalladas de los eventos, citas directas de las respuestas ofrecidas a las preguntas abiertas de las reflexiones, transcripciones de las presentaciones grupales, debates en pleno y observaciones realizadas por los formadores. Esta información fue organizada para el posterior análisis mediante un proceso inductivo que describimos más adelante. Las conclusiones derivadas de las interpretaciones realizadas a partir de los patrones identificados en el procesamiento de los datos culminaron el proceso y dieron origen a este informe. Para garantizar que la información obtenida fuera consistente y considerar todos los ángulos posibles de acuerdo a nuestros objetivos, procedimos a una triangulación metodológica y de perspectivas de los investigadores. Finalmente, mediante técnicas del análisis de contenido y un sistema de categorías basado en los análisis cognitivo y de instrucción del análisis didáctico analizamos e interpretamos los cambios en los conocimientos, capacidades y actitudes de los participantes en el curso-taller. TRABAJO EMPÍRICO El curso-taller que diseñamos, implementamos y valoramos constituyó nuestra experiencia de campo. La necesidad que habíamos identificado en la investigación que precedió este estudio de que los profesores de matemáticas de educación secundaria en ejercicio se formen en el diseño y la selección de tareas adecuadas para evaluar la competencia matemática escolar, y ajustadas a las directrices para las evaluaciones de diagnóstico orientaron nuestro trabajo empírico. El curso-taller, desarrollado en ocho sesiones, perseguía desarrollar, mejorar y valorar la competencia de los profesores participantes en la redacción de ítems adecuados para las pruebas de diagnóstico en competencia matemática. Un total de nueve profesores asistió al curso. El programa se organizó según tres fases: diseño y planificación, implementación y evaluación de resultados. Cada una de estas fases llevó asociadas una serie de componentes y actividades, así como un sistema de recogida de información específica. Durante la fase primera diseñamos y planificamos el curso. Identificamos a los profesores de matemática de secundaria en servicio en la provincia de Granada como los participantes potenciales. Los contenidos curriculares fueron seleccionados a partir de los temas y conceptos seleccionados en el marco conceptual de la investigación que, a su vez, atendió y respondió a la problemática bajo estudio. La secuencia de estos contenidos se planificó a base de una lógica progresiva: primero, la normativa y los marcos teóricos; segundo, las tareas matemáticas y secuencias de tareas; tercero, las variables de tarea conceptuadas en el marco de PISA. La evaluación del diseño se realizó atendiendo los criterios de relevancia para los participantes, el contexto y las circunstancias; la calidad del contenido, la calidad técnica del programa mismo; y su posibilidad de evaluación. En la fase de implementación pusimos el programa en práctica. El diseño del programa estuvo sujeto a revisiones continuas en cuanto a su contenido, la secuencia de actividades, las reflexiones escritas y las tareas asignadas. Estas revisiones se fundamentaron sobre las reflexiones que, como equipo de investigación, realizamos al finalizar cada sesión. La evaluación de la implementación consideró dos criterios, puesta en marcha y marco de aplicación. Durante la fase de evaluación de resultados miramos críticamente y contrastamos el proceso de desarrollo del curso a la luz de su planificación. Es decir, determinamos si lo ocurrido durante la puesta en marcha del curso-taller era debidamente recogido y reflejaba las decisiones previamente adoptadas durante su diseño y planificación. La evaluación de resultados se realizó tomando en consideración los criterios medida y logros y valoración. Destacamos que nuestro programa tuvo una edición única y no estuvo sujeto a una posterior fase de institucionalización. La evaluación que realizamos tiene carácter formativo y su fin último es mejorar la práctica docente de los participantes en sus competencias de planificación y evaluación. RESULTADOS Los resultados de la investigación se extraen mediante un balance del análisis del conjunto de producciones de los participantes¿ encuestas, reflexiones escritas y trabajos no presenciales¿. Primero, destacamos que mediante la encuesta inicial los informantes identificaron como focos de conocimiento y de interés el aprendizaje de los alumnos, los procesos de evaluación y la instrucción. Estos focos los resumimos en cinco grandes categorías que son la evaluación del aprendizaje escolar, la evaluación del sistema educativo, los conocimientos y las capacidades de los escolares, el diseño de tareas y la planificación de tareas. En el momento inicial del curso-taller los informantes reconocieron la utilidad práctica de la noción de competencia como parte integral del currículo pero desconocían su importancia como elemento curricular. Por otro lado, los informantes reconocieron la finalidad del proyecto PISA pero manifestaron desconocimiento de la finalidad de las evaluaciones de diagnóstico y del rol que desempeñan en el proceso de enseñanza de las matemáticas y su vinculación con las evaluaciones PISA. Por otro lado, los informantes manifestaron desconocimiento de los aspectos tanto conceptuales como técnicos del diseño y la selección de tareas adecuadas para evaluar la competencia matemática. Los patrones observados en la encuesta inicial corroboraron la necesidad de mejorar el conocimiento sobre los procesos de evaluación diagnóstica y de recibir formación específica para desarrollar la competencia profesional de diseñar y seleccionar tareas que permitan planificar una evaluación diagnóstica. Mediante la encuesta final de evaluación del curso-taller, los informantes expresaron satisfacción con las estrategias, aspectos técnicos, metodología y conceptuación de los temas desarrollados durante el curso y admitieron estar dispuestos a aplicar los conceptos aprendidos en su práctica docente. Estas afirmaciones reforzaron la elección de la modalidad de curso-taller como plan efectivo de formación y confirmaron esta elección como una decisión acertada. Consideramos que la información proporcionada fue valiosa para revisar el diseño y el desarrollo del curso-taller y para introducir mejoras en ediciones futuras. Por su parte, el análisis de las reflexiones escritas revela que los participantes profundizaron en los aspectos medulares del curso-taller y mejoraron su conocimiento didáctico gradualmente. Los profesores expresaron haber cumplido las expectativas trazadas al inicio de la experiencia en cuanto al análisis y la caracterización de tareas matemáticas escolares como medio para promover la competencia matemática de sus alumnos. Tambien afirmaron haber adquirido conocimientos que les permitieron valorar las funciones de las tareas matemáticas según caracterizadas y conceptuadas para tales propósitos y proyectar la aplicación de este concepto de tarea en el aula. Otro aspecto que aseveraron haber mejorado fue el replantearse la competencia de evaluación, la introducción de las competencias en la labor diaria, la organización del trabajo y la adquisición de herramientas para su mejora. También manifestaron haber modificado sus actitudes iniciales y disposición para aplicar lo aprendido en el aula valorando así el curso-taller como experiencia de desarrollo profesional. En cuanto al análisis de los trabajos no presenciales, las evidencias demostraron que a medida que el curso se desarrolló, los profesores ampliaron y profundizaron sus conocimientos sobre el modelo de competencias propuesto por PISA y adoptado para las evaluaciones de diagnóstico organizadas en el sistema educativo español. Asimismo, mejoraron sus capacidades para vincular objetivos específicos con competencias, justificar esta vinculación y seleccionar tareas que atendieran esta vinculación. Luego, los profesores incursionaron en la conceptuación de las variables de tarea y en su aplicación práctica, conocimiento inicial pobre que fue mejorando con el estudio y las tareas completadas. A medida que profundizaron en la caracterización de las variables de tarea del modelo PISA, los participantes mejoraron su comprensión de estas, su capacidad para aplicarlas en el análisis de tareas para evaluar la competencia matemática y su conocimiento didáctico sobre el diseño y selección de tareas adecuadas para evaluar esta competencia. A partir de estas evidencias concluimos que los participantes evidenciaron progreso en su conocimiento didáctico durante el desarrollo de las sesiones del curso-taller y adquirieron capacidades y conocimientos relacionados con el conglomerado de sus competencias profesionales. DISCUSIÓN DE RESULTADOS La evaluación de la calidad de nuestro programa de formación se realizó mediante una valoración de cada una de sus tres fases: diseño, implementación y resultados. Aplicamos una pauta de evaluación de 46 indicadores para valorar la competencia profesional en estudio. Destacamos que la evaluación fue realizada por los responsables del programa como evaluadores internos. La evaluación de la fase de diseño y planificación arrojó que el programa fue objeto de una detallada, cuidada y minuciosa planificación y que nuestra intención inicial fue cumplir con la totalidad de los indicadores. Sin embargo, hemos reconocido, de una manera imparcial, las deficiencias y carencias que impidieron que así fuera. Concluimos que los aspectos que el programa falló en cumplir son mejorables en una edición futura del mismo. Como fortalezas del programa identificamos su calidad técnica y su viabilidad. Consideramos como debilidades y elementos sujetos a mejora que determinados aspectos relacionados a la pertinencia estaban ausentes, que el carácter evaluable del programa estaba parcialmente presente y que los objetivos fueron enunciados de manera imprecisa. Relacionada con la pertinencia a los participantes identificamos la ausencia de un procedimiento sistemático para detectar las necesidades de formación de los profesores. Sobre la posibilidad de evaluar el programa señalamos la falta de claridad en los detalles y descripciones de la metodología y las estrategias de enseñanza utilizadas. La evaluación de la fase de implementación del programa arrojó que la puesta en práctica del programa de formación se realizó sistemáticamente de modo acorde con las directrices generales trazadas en su diseño y con las decisiones tomadas durante su planificación. El desarrollo de las diversas actividades se realizó de manera estructurada pero con la flexibilidad necesaria para permitir la incorporación de piezas de información y situaciones emergentes. La recogida de datos y su toma en consideración se realizó en el transcurso de la puesta en marcha del programa y constituye la médula de la fase de valoración de resultados. Con la evaluación de los resultados del programa confirmamos la armonía y el ajuste satisfactorio de la planificación del curso-taller con su implementación. Destacamos precisión en la planificación y en la consecuente recogida de información y en el desarrollo de las actividades realizadas así como en la puesta en práctica del programa de formación según previsto. De esta manera, valoramos positivamente los resultados obtenidos de la realización del curso-taller mediante el reconocimiento de fuentes de información acertadas y criterios adecuados para valorar el curso. Asimismo concluimos que los objetivos planteados fueron alcanzados satisfactoriamente. CONCLUSIONES Del desarrollo de esta investigación derivamos las siguientes conclusiones asociadas a las preguntas de investigación formuladas y a los objetivos planteados. ¿ Las conceptuaciones desarrolladas y las actividades realizadas en el curso-taller permitieron describir en detalle que los conocimientos y las capacidades didácticas requeridas por los profesores de matemáticas para evaluar la competencia matemática en sus alumnos respondieron a aspectos conceptuales, legales y curriculares estipulados en la normativa vigente. El curso aportó a los participantes las explicaciones pertinentes para que comprendieran las condiciones que como promotores de la competencia matemática debieran cumplir. ¿ Con la documentación y descripción de los cambios en los conocimientos, capacidades y actitudes que evidenciaron los profesores como resultado de su participación en la experiencia de desarrollo profesional, y el contraste entre el estado inicial y el estado final de los participantes pusimos de manifiesto el avance en su competencia profesional de elaborar tareas para evaluar la competencia matemática escolar. ¿ El marco analítico, reflexivo y sistemático que aportamos a los participantes del curso-taller les permitió tanto estructurar sus conocimientos como avanzar en su desarrollo y mejora. ¿ Los profesores adquirieron conocimientos y capacidades para diseñar y seleccionar tareas con las cuales evaluar la competencia matemática escolar a partir de los requerimientos curriculares. Los investigadores valoramos el desarrollo alcanzado por los profesores en términos del conglomerado de su competencia profesional, evidenciadas de la siguiente manera: ¿ Sobre currículo. Puesta de manifiesto por la mejora en su conocimiento sobre la noción de competencia como componente curricular, la normativa sobre las evaluaciones de diagnóstico y los criterios de evaluación, así como la manifestación de haber ampliado su comprensión de la utilidad de los conceptos considerados. ¿ Sobre enseñanza. Concretada en la comprensión de las tareas matemáticas y su función en los procesos de planificación, aprendizaje de sus alumnos y organización del trabajo docente. ¿ Diagnóstico del aprendizaje. Evidenciada en los juicios manifestados sobre la importancia de potenciar el aprendizaje de sus alumnos. ¿ Evaluación. Manifestada en expresiones de haber adquirido conocimientos para incluir las tareas matemáticas para evaluar la competencia matemática y en el diseño final de una prueba adecuada para las evaluaciones de diagnóstico. ¿ Colaboración. Puesta de manifiesto en la participación activa durante los debates realizados durante las presentaciones de los trabajos no presenciales y por la compleción de éstos en forma grupal así como en la disposición continua de compartir conocimientos y estrategias durante la realización del curso-taller. ¿ Desarrollo profesional. La participación voluntaria en el curso-taller como experiencia de formación a partir de haber auto identificado la necesidad de adquirir conocimiento sobre los temas y conceptos discutidos y en la valoración realizada del curso-taller como recurso efectivo de desarrollo profesional. La evaluación realizada evidenció que el curso cumplió los indicadores de calidad en términos de su pertinencia, eficiencia y eficacia. APORTES, LIMITACIONES Y LÍNEAS DE CONTINUIDAD A partir de los resultados de este estudio identificamos los siguientes aportes: ¿ La caracterización de un modelo dirigido al diseño y selección de tareas para evaluar la competencia matemática escolar a partir del cual hemos puesto en marcha y valorado una experiencia de desarrollo profesional para profesores en ejercicio. El diseño mismo del curso-taller es una aportación mayor. ¿ La argumentación efectiva de la necesidad de evaluar el desarrollo de la competencia matemática escolar y la demostración de que, en efecto, puede evaluarse. ¿ La delimitación de la idoneidad de las tareas para evaluar la competencia matemática escolar en términos de fortalezas y debilidades de la propia tarea y de la adecuación del conjunto de tareas con representación de los valores de las variables de tarea en una prueba de evaluación diagnóstica. ¿ La metodología usada para ajustar los contenidos, actividades y objetivos a las expectativas de cambio en el conocimiento didáctico mediante instrumentos de recogida de información variados permitió valorar los cambios en los participantes y asociarlos a su experiencia en el curso. ¿ La caracterización de la manera en que los profesores proponen y justifican tareas para evaluar la competencia matemática. Esta caracterización constituyó nuestra herramienta principal para obtener información de la interpretación que realizan de las variables de tarea, sus categorías y valores. ¿ La aplicación del sistema de categorías del análisis didáctico como marco teórico para contrastar, organizar y valorar las respuestas de los profesores al marco de reflexión propuesto. Hemos mostrado que el análisis didáctico es una herramienta metodológica potente para la investigación con profesores en ejercicio. Por otro lado, reconocemos en esta investigación tres limitaciones. Primero, el número de participantes. Aunque la información aportada por los nueve participantes en el curso-taller fue rica y relevante, entendemos que con un mayor número de asistentes hubiéramos obtenido resultados más variados. Segundo, las preguntas incluidas en la encuesta inicial no correspondieron en ningún caso con las preguntas en la encuesta final de evaluación del curso. La correspondencia entre ambas fuentes hubiese aportado información reveladora sobre el cambio en las actitudes iniciales de los participantes respecto a los conceptos desarrollados en el curso-taller. Tercero, la falta de seguimiento a la posterior aplicación de los conocimientos y capacidades adquiridos y desarrollados en el curso-taller. Realizar entrevistas a los participantes transcurrido un tiempo razonable después de haberlo concluido nos hubiese permitido apreciar si los participantes conservaban el interés en modificar su práctica docente como resultado de su experiencia en el curso. Finalmente, identificamos tres posibles líneas de continuidad: ¿ Determinar el impacto del programa de formación en la práctica docente de los profesores; cómo el aprendizaje adquirido y las capacidades desarrolladas influyen en su desempeño diario; si evidencian cambios que pueden relacionarse con la experiencia de desarrollo profesional aportada por el curso-taller; o si mantienen y continúan desarrollando su competencia de elaborar tareas para evaluar la competencia matemática en sus alumnos ¿ En una investigación más extensa, documentar el cambio en el desempeño de los alumnos y determinar si la mejora en su competencia matemática puede asociarse con el desarrollo de la competencia profesional de los participantes para planificar tareas de evaluación ¿ Replicar la investigación en otros contextos¿ con profesores de educación primaria, redactores de libros de texto, diseñadores de pruebas diagnósticas, inspectores de educación¿ y aplicar metodología que permita establecer la relación entre el desarrollo profesional, el conocimiento y las prácticas docentes y el desempeño de los alumnos REFERENCIAS Baartman, L., Bastiaens, T, and Kirschner, P. (2004) Requirements for Competency Assessment Programmes. Paper presented at the Onderwijs Research Dagen, Utrecht, Open University of the Netherlands. Boston, M. y Smith, M. (2009). Transforming secondary mathematics teaching: Increasing the cognitive demands of instructional tasks used in teachers' classrooms. Journal for Research in Mathematics. Education, 40(2), 119. Caraballo, R. M. (2010). Análisis de los ítems de pruebas de evaluación de diagnóstico en competencia matemática para segundo curso de Educación Secundaria Obligatoria en España, 2008-2009: Un estudio exploratorio. Trabajo de fin de máster, Universidad de Granada, España. Caraballo, R., Rico, L. y Lupiáñez, J. L. (2011a). Análisis de los ítems de las evaluaciones autonómicas de diagnóstico en España 2008-2009, Unión, 26, 27-40. Caraballo, R., Rico, L. y Lupiáñez, J. L. (2011b). Pruebas autonómicas de diagnóstico para evaluar la competencia matemática en educación secundaria, Actas del XV simposio de la Sociedad Española de Investigación en Educación Matemática, 107-118. Cowie, B., Hipkins, R., Keown, P. and Boyd, S. (2011). The Shape of Curricular Change. New Zealand Council for Educational Research. Wellington. Retrieved from: http://nzcurriculum.tki.org.nz/Curriculum-stories/Keynotes-and-presentations/The-shape-of-curriculum-change/Summary Gil, F. (1999). Marco conceptual y creencias de los profesores sobre evaluación en matemáticas. Tesis doctoral. Universidad de Granada. Gil, D. y Vilches, A. (2006) ¿Cómo puede contribuir el proyecto PISA a la mejora de la enseñanza de las ciencias (y de otras áreas de conocimiento)? Revista de Educación, Extraordinario, 295-311. Gómez, P., Lupiáñez, J. L., González, M. J., Moreno, M. F., Gil, F., Rico, L., et al. (2006). Caracterización y evaluación de diseños de planes de formación inicial de profesores de matemáticas en el marco del espacio europeo de educación superior. En J. L. Benítez y A. B. García (Eds.), La universidad ante el reto del espacio europeo de educación superior: Investigaciones recientes (pp. 257-278). Granada: Universidad de Granada. Instituto de Evaluación. (2010). Sistema estatal de indicadores de la educación. Madrid: Ministerio de Educación. Kilpatrick, J., Swafford, J., & Findell, B. (Eds.). (2001). Adding it up: Helping children learn mathematics. Washington D.C.: National Academy Press. Kirkpatrick, D. (2006). Evaluating Training Programs: The Four Levels (3rd Ed). San Francisco, CA: Berrte-Koehler Publishers, Inc. Leander, K. Osborne, M. (2008). Complex positioning: teachers as agents of curricular and pedagogical reform. Journal of Curriculum Studies, 40(1), 23-46 Lupiáñez, J. L. (2009). Expectativas de aprendizaje y planificación curricular en un programa de formación inicial de profesores de Matemáticas de secundaria. Tesis doctoral. Universidad de Granada. Lupiáñez, J. L. (2010). Diseño y selección de tareas para el desarrollo de la competencia matemática. Trabajo presentado en Matemáticas y Competencias Básicas, Oviedo. Maestro, C. (2006). La evaluación del sistema educativo. Revista de Educación, extraordinario, 315-336. Maher, C. (2012) Planning and Evaluating Human Services Programs. Bloomington, IN: Authorhouse. Ministerio de Educación y Ciencia (2006). Ley Orgánica 2/2006, de 3 de mayo, de Educación. BOE, 106, 17158-17207. National Council of Teachers of Mathematics. (1991). Professional standards for teaching mathematics. Reston, VA: Author. Niss, M. (2011). Competencies and Mathematical Learning Ideas and inspiration for the development of mathematics teaching and learning in Denmark. Department of Science, Systems and Models, IMFUFA. Roskilde University. OCDE (2003). The PISA 2003 Assessment Framework. Mathematics, Reading, Science and Problem Solving Knowledge and Skills. París: OCDE. OCDE (2005). The Definition and Selection of Key Competencies. Executive Summary. Descargado el 13/08/2013 de http://www.oecd.org/pisa/35070367.pdf Perez, R. (2006): Evaluación de programas educativos. Madrid: La Muralla. Rico, L. (1990). Diseño curricular en educación matemática. En S. Llinares y V. Sánchez (Eds.), Teoría y práctica en educación matemática (pp. 17-61). Sevilla: Alfar. Rico, L. (2006). Marco teórico de evaluación en PISA sobre matemáticas y resolución de problemas. Revista de Educación, (Extraordinario 2006), 275-294 Rico, L. y Fernández-Cano, A. (2013). Análisis didáctico y metodología de investigación. En L. Rico, J.L. Lupiáñez y M. Molina (Eds.) Análisis didáctico en educación matemática. Granada, España: Editorial Comares. Rico, L. y Lupiáñez, J. L. (2008). Competencias matemáticas desde una perspectiva curricular. Madrid: Alianza Editor. Rico, L., Gómez, P., Moreno, M., Romero, I. M., Lupiáñez, J. L., Gil, F., et al. (2003). Indicadores de calidad para la formación inicial de profesores de matemáticas de secundaria. En E. Castro, P. Flores, T. Ortega, L. Rico & A. Vallecillos (Eds.), Investigación en educación matemática. Séptimo Simposio de la Sociedad Española de Investigación en Educación Matemática (SEIEM) (pp. 289-297). Granada: Universidad de Granada. Van Veen, K. & Sleegers, P. (2006). How does it feel? Teachers' emotions in a context of change. Journal of Curriculum Studies, 38(1), 85-111 Zaslavsky, O. (2008). Meeting the challenges of mathematics teacher education through design and use of tasks that facilitate teacher learning. En T. Jaworski y T. Wood (Eds.), The mathematics teacher educator as a developing professional (pp. 93-114). Rotterdam: Sense Publishers.