18.9.2008

Marc21-konversion kokeiluja

Konversion lähestyessä teimme Tyrni-tietokannassamme pieniä kokeiluja aineistojen ulos- ja sisäänluvusta. Esittelin konversion käytännön toimia myös AMK-kirjastonjohtajien kokouksessa Hämeenlinnassa 17.9. Koeaineistomme sisälsi 10 000 tietuetta ja ne otettiin tietokannasta ulos ja vietiin sisään harjoitustietokantaan. Vertailun vuoksi otettiin kaksi otosta, tietokannan vanhimmat ja toisaalta uusimmat tietueet, uusimmissahan on mukana tiivistelmiä yms. Vanhimpien tietueiden ryhmässä tiedoston koko oli 7 Mt ja uusimpien 16 Mt.Tuplakontrollissa katsottiin vain bib_id:tä ja uusi tietue korvasi vanhan.

Tietueiden ottaminen ulos tietokannasta vei MarcExportilla vain pienen hetken. Tuo ei siis aiheuta ongelmia, eikä myöskään seuraava vaihe eli tietueiden konvertointi Usemarconilla Marc21Finistä Marc21:een.

Kriittinen kohta onkin tietueiden vienti takaisin tietokantaa Import-toiminnolla. Ensimmäinen testi tietokannan vanhimmilla tietueilla kesti 20 minuuttia ja uusimmilla 65 minuuttia. Pari tuntia myöhemmin sama ajo uusilla tietueilla vei 50 ja seuraavana päivänä 34 minuuttia. Ajoon kuluvaan aikaan vaikuttaa ilmeisesti siis huomattavan paljon palvelimella tapahtuva muu liikenne. Testin jälkeen huomattiin kuitenkin (kiitos Kansalliskirjaston fiksun väen), että olimme tehneet tuossa import-vaiheessa samalla hakuindeksien regeneroinnin. Kun laittaa ajon ilman parametrejä, aika lyhenee huomattavasti, tuo isompi tiedosto menee läpi 7 minuutissa. Jos lasketaan, että meidän tietokannassamme on 150 000 bibiä, niin koko tietokannan konversion ehtii siis ainakin teoriassa tekemään yhden työpäivän aikana. Holdingsithan ovat niin paljon pienempiä tietueita, että niiden ajot kestävät huomattavasti vähemmän kuin bibien.

Mitä sitten käytännössä tapahtuu, kun kaikki muutkin ammattikorkeakoulut ja yliopistot ovat yhtä aikaa viemässä tietueitaan palvelimelle? Ja millä aikataulutuksella tietokantojen hakuindeksien regenerointi tehdään konversion jälkeen? Näistä ja monista muistakin käytännön asioista riittääkin sopimista siellä ja täällä syksyn kuluessa. Ohjeistustakin kaivataan, sitä taitaa tulla enemmälti lokakuun lopun Triangeli-päivistä lähtien.

Webbiliittymäkin täytyy päivittää heti konversion jälkeen, samoin uutuusluettelo ja julkaisuluettelo ja varmaan pitäisi opetella uuden formaatin mukaiset luettelointikäytännötkin ...

Jussi

1 kommentti:

Mia kirjoitti...

Moi,
ja kiitokset taas kerran teille ahkerille testaajille hyvistä aika-arvioista yms. :-)