2. RÉSZ - MENEDZSELÉSI ÚTMUTATÓK

Teljesítménymérés és értékelési eszközök

Összefoglaló

TÉMAKÖR

Ez az útmutató a következő témákkal foglalkozik:

    • könyvtári statisztikák,
    • könyvtári teljesítménymérések,
    • új statisztikai mérések és más eszközök az elektronikus szolgáltatások értékelésére,
    • teljesítményértékelés (metrikus és folyamatértékelés),
    • érték- és hatásvizsgálat,
    • szabványosított kérdőívek és szabványok.

STRATÉGIAI KÉRDÉSEK

A könyvtárak teljesítményének mérését nemzetközi szinten a következő kulcskérdések határozzák meg:

Mi a könyvtárak célja?

Ki ellenőrzi a közkönyvtárak programjait? Ez országos, regionális vagy helyi ügy? A könyvtáraknak széleskörű szolgáltatást kell-e nyújtaniuk az egész társadalom számára vagy szűkíteniük kell marketing tevékenységüket, és speciális csoportokat kell megcélozniuk?

A modernizáció az Internetet, elektronikus információt és a linkeket érintően

olyan kérdéseket vet fel a könyvtári programokat illetően, mint az elektronikus

kormányzás, szociális érintettség, az információ szabadsága, foglalkoztatottság,

képzés és gazdasági jólét.

Milyen a jó könyvtár és mibe kerül?

Ha manapság a jó könyvtár fogalma különbözik a korábbi megítéléstől, akkor új értékelési módszerekre van szükség. Az Internet-alapú szolgáltatások kialakulása ezt elkerülhetetlenné teszi.

Ha a közpénzekért folytatott verseny fokozódik, úgy a könyvtáraknak érvekre

van szükségük ahhoz, hogy megkapják a maguk részét a költségvetésből, vagy

megvédjék azt, amit eddig kaptak. Az érvek néha tisztán politikaiak, általában

bizonyítékokon alapszanak, és itt jelentkezik a teljesítménymutatók fontossága.

GYAKORLATI JAVASLATOK

Külső megfigyelők számára gyakran meglepő, hogy mekkora munkát jelent a teljesítménymutatók kidolgozása a könyvtárak számára, még hivatalos nemzetközi szabványok is vannak ebben a témában. A könyvtárakra vonatkozó statisztikák nagy részét a LibEcon készíti. Az európai könyvtárak statisztikái általában jók, de a következő kérdésekben problémák merülnek fel:

    • Időszerűség - gyakran késve jelennek meg.

    • Teljesség - gyakran nem elég átfogóak, így a trendek kimutatása nem lehetséges.

    • Nemzetközi szabványosítás - nem mindig veszik figyelembe a nemzetközi szabványok meghatározásait.

    • Megjelenítés és hozzáférés - gyakran nem elég jól adják el magukat és nehezen megtalálhatóak.

    • Célraorientáltság - gyakran nem foglalkoznak azokkal a témákkal, amelyek a döntéshozók szempontjából fontosak lennének.

JÖVŐBENI TERVEK

Hatásvizsgálat - kritikus, sőt mi több rendkívül komplex munkaterület. Nem könnyű meghatározni a könyvtárak "hatását", de az első mutatók szerint szignifikáns hatás mutatható ki az olyan alapvető politikai területeken, mint a szociális érintettség. Így, számos európai országban folyik a hatásvizsgálatok megbízható módszerének kutatása.

Új, IT-alapú szolgáltatások. Az olyan, hagyományos teljesítménymutatókat, mint pl. a kiadott könyvek száma a lakosság lélekszámára vetítve, ki kell egészíteni az IT-alapú szolgáltatásokra vonatkozó mérésekkel. Ezek sajátossága, hogy gyakran a könyvtár épületén kívül szolgáltatják őket, pl. otthoni PC-ékre.

TÉMAKÖR

Ez az útmutató a következő kérdésekkel foglalkozik:

Könyvtári statisztikák

Könyvtári teljesítménymérés

Új statisztikai mérések

Teljesítmény-értékelés (metrikus és folyamatértékelés)

Érték- és hatásvizsgálat

Szabványosított kérdőívek és szabványok

STRATÉGIAI KÉRDÉSEK

Magas szintű könyvtárpolitika

EU-részvétel

Az Európai Uniónak nincs jogalapja arra, hogy beleszóljon a könyvtárak tevékenységébe és csak annyiban van köze hozzájuk, hogy a könyvtárak szemléltethetik azon politikai kezdeményezések fontosságát, amelyekhez az EU-nak jogi meghatalmazása van. Például a következő területeken:

    • Elektronikus Európa
    • Foglalkoztatás
    • Kultúra
    • Kutatás
    • Nemzetközi együttműködés
    • Kereskedelem (pl. szellemi tulajdonjog)
    • Szociális fejlődés
    • Strukturális fejlődés

Bevezetés

A teljesítménymérés számos érdekelt számára fontos lehet:

    • A teljesítmény adatok gyűjtése lehet a kormányzati politika része, mint pl. az Egyesült Királyságban.
    • A döntéshozók és az anyagi eszközöket biztosítók tudni szeretnék, hogy a könyvtárak eredményesek-e céljaik elérésében.
    • A könyvtárvezetők a rájuk bízott eszközökből a lehető legnagyobb hasznot szeretnék kihozni.
    • A nyilvánosság, a használók és a szolgáltatók egyaránt.
    • A könyvtárak támogatói.
    • Ezen csoportok érdekében tevékenykedő ill. kívülálló kutatók.

A kérdés három szinten tehető fel: helyi, országos/regionális és nemzetközi szinten.

A közkönyvtár feladata és céljai

A könyvtárak teljesítményének a mérését nemzetközi szinten a következő kérdések határozzák meg:

    • Mi a közkönyvtárak célja?

Ki ellenőrzi a közkönyvtárak programjait? Ez országos, regionális vagy helyi ügy? A könyvtáraknak széleskörű szolgáltatást kell-e nyújtaniuk az egész társadalom számára vagy szűkíteniük kell marketing tevékenységüket és speciális csoportokat kell megcélozniuk?

A modernizáció az Internetet, elektronikus információt és a linkeket érintően

olyan kérdéseket vet fel a könyvtári programokat illetően, mint az elektronikus

kormányzás, szociális érintettség, az információ szabadsága, foglalkoztatottság,

képzés és gazdasági jólét.

Milyen a jó könyvtár és mibe kerül?

Ha manapság a jó könyvtár fogalma különbözik a korábbi megítéléstől, akkor új értékelési módszerekre van szükség. Az Internet-alapú szolgáltatások kialakulása ezt elkerülhetetlenné teszi.

Ha a közpénzekért folytatott verseny fokozódik, úgy a könyvtáraknak érvekre

van szükségük ahhoz, hogy megkapják a maguk részét a költségvetésből, vagy

megvédjék azt, amit eddig kaptak. Az érvek néha tisztán politikaiak, általában

bizonyítékokon alapszanak, és itt jelentkezik a teljesítménymutatók fontossága.

Ezeknek kell nyújtaniuk a racionális vita alapját.

GYAKORLATI JAVASLATOK

Könyvtári statisztikák

A statisztikák nagyon értékesek a szabványok javítása vagy a pénzügyi támogatások elnyerése szempontjából. Az európai közkönyvtárak statisztikái általában jók, de a következő kérdésekben problémák merülnek fel:

    • Időszerűség (gyakran késve jelennek meg).
    • Teljesség (gyakran nem elég átfogóak, így a trendek kimutatása nem lehetséges).
    • Nemzetközi szabványosítás (nem mindig veszik figyelembe a nemzetközi szabványok meghatározásait).
    • Megjelenítés és hozzáférés (gyakran nem elég jól adják el magukat és nehezen megtalálhatóak).
    • Célraorientáltság (gyakran nem foglalkoznak azokkal a témákkal, amelyek a döntéshozók szempontjából fontosak lennének - jelenleg az elektronikus szolgáltatások kérdése a legaktuálisabb).

Teljesítménymérés a könyvtárakban

A teljesítménymérés abban segíti a vezetőket, hogy a statisztikai adatokat az aktuális teljesítmény sokatmondó mutatóivá alakítsák. A "mutató" kifejezést azért érdemes előnyben részesíteni, mert pontosan érzékelteti, hogy az eredmények értelmezésénél ítélkezésre van szükség. Mindamellett a hasznos mutatóknak jelentőségteljesnek és sokatmondónak kell lenniük. Pontosan a szolgáltatás céljára kell vonatkozniuk. Ha a mutatókat könyvtárak összehasonlítására használják, akkor nagy gondot kell fordítani azok összehasonlíthatóságára. Végül a teljesítményméréshez szükséges adatok gyűjtésére fordított erőfeszítéseknek arányban kell állniuk a felhasználásukkal hozott új döntésektől várható haszonnal.

Új statisztikai mérések és más eszközök az elektronikus szolgáltatások értékelésére

Európában és szerte a világon mutatókat dolgoznak ki az IT-alapú szolgáltatásokra vonatkozóan. Ezek némelyike nem elég finom, mindazonáltal ezek is hasznosak lehetnek: pl. a könyvtárak fiókjaiban installált, a közönség számára hozzáférhető PC-ék és a találatok száma a nyilvánosság számára készült web site-okon.

Számos, többnyire az akadémiai könyvtárakra összpontosító projekt kifinomultabb megközelítési módokat alkalmaz. Az EC Telematics Programme EQUINOX projekt valamennyi szektor felölelését célozza. Az USA-ban McClure és Bertot végezték a munka legnagyobb részét.

Teljesítményértékelés [metrikus és folyamat-értékelés]

A teljesítményértékelés lényegében a fejlesztés céljából történő összehasonlítást jelenti. A teljesítményértékelés típusai a következők:

    • metrikus [statisztikai összehasonlítás, amely vagy rendelkezésre álló statisztikákon, vagy speciálisan erre a célra gyűjtött adatokon alapszik]

    • folyamat-értékelés [amikor a könyvtárak azt vizsgálják, hogy mások hogyan érik el eredményeiket]

A teljesítményértékelést használhatják összehasonlításra más könyvtárakkal vagy más jellegű intézményekkel a generikus funkciók vonatkozásában, mint pl. beszerzés vagy személyzeti menedzsment.

Vannak példák a teljesítményértékelésre országos szinten az Egyesült Királyságban és Németországban. Mindkét modell könnyen alkalmazható más országokban is.

Érték- és hatásvizsgálat

Az érték- és hatásvizsgálat rendkívül komplex. A kérdés jobban vizsgálható a lehetséges mérések folyamatának részeként:

    • Az input magában foglalja mindazokat a forrásokat, amelyeket az intézmény felhasznál annak érdekében, hogy bármely eladásra szánt szolgáltatást vagy terméket létrehozzon (az "eladás" itt tág értelemben értendő). Magában foglalja az anyagi ráfordításokat, épületeket, nyersanyagot, gépeket, a munkatársi állományt és az információt, amelyet egyre inkább úgy ismernek el, mint fontos inputot. A mérés többnyire megszámlálást jelent, de egyre nagyobb hangsúlyt fektetnek a minőség mérésére is. Nem lehet azonban feltételezni, hogy a forrásokkal jobban ellátott könyvtár szükségszerűen jobb is.

    • A feldolgozás bármely az inputtal véghezvitt folyamatot jelent új létrehozása érdekében. Ha a feldolgozást vizsgáljuk, akkor azt vizsgáljuk, hogy milyen jól dolgoznak a munkatársak. A könyvtár mérheti, pl. az új könyvek feldolgozására fordított időt. Így mérhető, hogy az állomány megfelelő gyorsan válik-e hozzáférhetővé.

    • Az output mindaz, amit az intézmény megteremt. Pl. "kiadott könyvek", "megválaszolt referensz kérdések" és "az olvasók által elfoglalt székek" száma. Gyakran a mérés az output megszámlálásából áll, bár a minőség éppoly fontos, mint a mennyiség.

    • Az eredmény az output felhasználásának rövid- vagy középtávú eredményeit jelenti. A kikölcsönzött, ténylegesen elolvasott könyvek száma példa a kiadott könyvek eredményére.

    • A hatás az eredményeknek a környezetre gyakorolt hatását jelenti. A környezet itt nagyon tágan értendő, magában foglalja az embereket és a társadalmat egészében, és általában hosszú távon értendő. Példa lehet erre az általános műveltség javulása a könyvtári könyvek olvasása révén.

A hatásvizsgálatnál a legnagyobb nehézséget az jelenti, hogy számos különböző tényező játszik közre, így nagyon nehéz ezek közül egyet elkülöníteni (mint pl. a könyvtár hozzájárulása). Általában az a legjobb megoldás, ha kikérik a használók véleményét és/vagy vizsgálják szokásaikat.

Szabványosított kérdőívek végfelhasználók számára

A kérdőív olyan piackutatási eszköz, amely nagy potenciális értékkel bír a könyvtárak számára. Gyakran gondolják, hogy ennek a módszernek nagyok a költségei, és hogy a kérdések és a minták kiválasztása és a feldolgozás nagy szakértelmet kíván, ami a kis könyvtárak számára nehézséget jelent. A szabványosított kérdőívek használatával a költségek csökkennek és nő az érték.

Az Egyesült Királyságban országos szinten használt szabványosított kérdőívek gyűjteménye a PLUS (Public Library User Survey). A közkönyvtárak ílymódon nemcsak erőfeszítést takarítanak meg, de ugyanazon eszköz használatával az eredményeket egy közös adatbázisba juttatják, ami lehetővé teszi az összehasonlítást és az idősoros értékelést [teljesítményértékelés]. Az eredményeket teljesítménymutatókként fogadták el az Egyesült Királyság könyvtári szabványaihoz. Jelenleg négy kérdőív van, amelyek felölelik az alapvető közkönyvtári használatokat, a gyerekek könyvtárhasználatát, a könyvtárat nem használók szempontjait és az elektronikus szolgáltatások használatát.

Szabványok

Két releváns nemzetközi szabvány létezik:

    • ISO 2789:1991 Információ és dokumentáció - Nemzetközi könyvtári statisztikák. Ez magában foglalja, hogy milyen számításokat használjanak a könyvtárak ellátottságára vonatkozó statisztikákhoz a könyvtárak, könyvtárosok, könyvek, kazetták, lemezek, stb. vonatkozásában.

    • ISO 11620:1998 Információ és dokumentáció. Könyvtári teljesítménymutatók. Ez a szabvány 29 mutatót határoz meg a következő területek szerint csoportosítva: a) a használói elégedettség; b) nyilvános szolgáltatások; és c) technikai szolgáltatások.

Mindkét szabvány jelenleg (2002-ben) átdolgozás alatt áll. Mindkettő nagyon értékes, de nem eléggé ismert és nem elég szigorú az elektronikus érték- és hatásvizsgálat tekintetében.

Az elektronikus források használatának vizsgálata

Az engedélyezett elektronikus információforrások használata folyamatosan nő és bizonyos esetekben a tartalomhoz való hozzáférés legfontosabb vagy domináns eszközévé válik. Az elektronikus környezet, amely a World Wide Web-ben manifesztálódik, lehetőséget biztosít ezen eszközök használatának mérésére.

Számos eszköz áll rendelkezésre a web log-ok elemzésére. Jellemző példa az Analog. A site biztosít online oktatást is. Javasolható, hogy azok, akiknek szándékában áll használni a web-statisztikákat és hasonlókat, ismerkedjenek meg ezen adatok értelmezésének egyes kérdéseivel, pl. "A webstatisztikák értéke": "Miért értelmetlenek (vagy még rosszabbak) a webstatisztikák? "

Új statisztikai mérések és más eszközök az elektronikus szolgáltatások értékelésére

Országos adatgyűjtési modellek kialakítása a közkönyvtári hálózati statisztikákhoz és teljesítménymérésekhez

A tanulmány (2000.01.) megfogalmazta az országos adatgyűjtési, elemzési és jelentésrendszer kialakításának és bevezetésének módját a könyvtári hálózati statisztikák elkészítéséhez és teljesítménymérések végrehajtásához. A rendszer pontos és idősorosan közöl adatokat. Korábbi munkára épül (ld. a következő pontot), amely kialakította a hálózati statisztikák és teljesítménymérések készletét a könyvtárak számára (ld. alább). A projekt igazgatók J.C. Bertot és C.R. McClure.

Országos könyvtári hálózati statisztikák és teljesítménymérések kialakítása

Ez a tanulmány országos statisztikák és teljesítményvizsgálatok készletét hozta létre, amelyet a könyvtárosok, kutatók és politikacsinálók az Internet- és a web-alapú szolgáltatások és források könyvtárak és könyvtárakon alapuló hálózatok általi használatának leírására használhatnak fel.

Elektronikus források használatának mérése (E-metrics)

Az E-metrics project célja az elektronikus források használatára vonatkozó adatgyűjtés lehetőségének keresése.

Városi Könyvtárak Tanácsa - Urban Libraries Council (USA). Az Internet hatása a könyvtárak használatára. A tanulmány országos szintű telefonos reprezentatív felmérésből állt, amelybe 3097 felnőttet vontak be és 2000 tavaszán végezték el. A közvélemény-kutatást angol vagy spanyol nyelven végezték.

A könyvtárak összehasonlíthatják magukat más hozzájuk hasonló könyvtárakkal, felhasználva ehhez a könyvtári összehasonlítási Eszközt a hasonlók számára (Public Library Peer Comparison Tool) vagy az akadémiai könyvtári verziót.

JÖVŐBENI TERVEK

Ezen a téren számos probléma vár megfogalmazásra:

    • A maximális hatás érdekében a szabványokat országosan kell alkalmazni.

    • Az adatgyűjtés és elemzés költségei nagyobbak, mint amit egyes könyvtárak a maguk részéről ráfordíthatónak tartanak.

    • A témákat "nehéznek" tartják és megértésük széles körben problémát jelent.

    • A jó gyakorlat lassan és nehezen terjed (az egyes országok között és pl. az akadémiai könyvtáraktól a közkönyvtárakig).

    • A mérési tevékenység hálózati környezetben különösen nehéz, de feltétlenül ez lesz a statisztikai és teljesítménymérések kulcsa a jövőben.

    • Az ezekkel a kérdésekkel való foglalkozás szerkezeti keretei országos szinten gyengék. Nemzetközi szinten nagyon gyengék.

Sok helyen kevéssé ismerik a legjobb gyakorlatot ezen a téren. Az európai kutatási erőfeszítések eltérőek és rövidéletűnek bizonyulnak (pl. az EC EQUINOX kezdeményezése az elektronikus könyvtárak teljesítménymérésének kifejlesztésére csak két évre szólt, ezzel szemben az USA hosszú távú kutatást irányzott elő). Ahhoz, hogy a helyzet jelentősen megváltozzon nemcsak hogy jobban kell reklámozni a legjobb gyakorlatot, de olyan eszközöket kell kidolgozni, amelyeket önkéntes alapon nemzetközi szinten lehet alkalmazni.

LINKEK

Bevezetés

Ezen rész célja a jó gyakorlat bemutatása és olyan anyagot tartalmaz, amely

    • Nyelvileg és a weben hozzáférhető

    • Megalapozott és használható (nem csak egy szűk skálán mozgó kísérlet)

    • néhány olyan projektet, amelyekben meg van a lehetőség arra, hogy nagy hatásúakká váljanak.

    • az angoltól eltérő nyelvű anyagokat, ha a szolgáltatásban/tevékenységben nagy lehetőség rejlik.

A fő hangsúlyt európai anyagokra fektettük, de bármely eredetű fontos anyagot felvettünk. Joe Ryen könyvtári statisztikai site-ja pl. amerikai, de kiváló a könyvtári statisztikai információ és mérések szempontjából. Tartalmaz linkeket, extenzív bibliográfiát és akadémiai, múzeumi és iskolai könyvtári statisztikai forrásokat, valamint számos linket európai könyvtári statisztikai forrásokhoz.

Europe

LIBECON

http://www.libecon.org/

EQUINOX

http://equinox.dcu.ie/

CAMILE Concerted Action on Management Information for Libraries in Europe

http://www.staff.dmu.ac.uk/

ISTAR

http://www.istar.org/

Denmark

Danish National Library Authority

http://www.bs.dk/index.ihtml

Germany

German Library Statistics

http://www.bibliotheksstatistik.de/

Bertelsmann Foundation

http://www.bix-bibliotheksindex.de/

Bertelsmann Stiftung Bix

Benchmarking [metric and process]

http://www.stiftung.bertelsmann.de/

Norway

Norwegian Statens Bibliotekstilsyn

http://samson.bibtils.no/

United Kingdom

Chartered Institute of Public Finance and Accountancy (CIPFA)

http://www.ipf.co.uk/sis/leisure/publiclibraryactuals/default.asp

Department for Culture, Media and Sport standards for public libraries in England

http://www.culture.gov.uk/PDF/libraries_pls_assess.pdf

IPF Public Library Benchmarking Club

Benchmarking [metric and process]

http://www.ipf.co.uk/benchmarking

The Library & Information Statistics Unit

http://www.lboro.ac.uk/departments/dils/lisu/lisuhp.html

MIEL: Management Information for the Electronic Library

http://www.ukoln.ac.uk/dlis/models/studies/

Performance measures

http://www.staff.dmu.ac.uk/~camile/matrices/intro.htm - top

The People's Network

People's Network: training success stories

http://www.peoplesnetwork.gov.uk/

Standardised questionnaires

PLUS [Public Library User Survey]

http://www.ipf.co.uk/plus/

VITAL: The Value and Impact of IT Access in Libraries

http://www.mmu.ac.uk/h-ss/cerlim/projects/vital.htm

USA

http://nces.ed.gov/surveys/libraries/

ARL Statistics site

http://fisher.lib.virginia.edu/newarl/

Described in the article Interactive Peer Group Comparisons through the Web http://www.arl.org/newsltr/197/peergroup.html

International Coalition of Library Consortia (ICOLC)

Guidelines for Statistical Measures of Usage of Web-Based Indexed, Abstracted, and Full Text Resources (November 1998)

http://www.library.yale.edu/consortia/webstats.html

Library Statistics program

http://www.nclis.gov/libraries/lsp/statist.html

NCLIS Statistics and Surveys Web site

http://www.nclis.gov/statsurv/statsurv.html

Publikációk

Moore, N. Measuring the Performance of Public Libraries: a Draft Manual. Paris, General Information Programme and UNISIST, UNESCO, January 1989.

Management Tools. Luxembourg, European Commission DG-XIII-E3, 1995

Final report of the PROLIB Project, otherwise known as "The Toolbox Study". A "ground clearing" study aimed (1) to survey the state of library performance measurement across Europe, (2) to recommend priorities for further development and (3) to produce a toolbox of performance measures and indicators applicable and important for all types of library in Europe.

Bertot, J.C., McClure, C.R., and Ryan, J., Statistics and Performance Measures for Public Library Networked Services. Chicago, IL: American Library Association, 2001

Introduces the issues related to new electronic service performance measurement.

Van House, Nancy A; Lynch, Mary Jo; McClure, Charles R; Zweizig, Douglas L; Rodger, Eleanor Jo. Output Measures for Public Libraries: A Manual of Standardized Procedures. Second edition. Chicago, America Library Association, 1987.

Van House, Nancy A; Weil, Beth T; McClure, Charles R. Measuring Academic Library Performance: A Practical Approach. Chicago, American Library Association, 1990.