Co należy wiedzieć na temat sprzętu do digitalizacji?

Charakterystyka obrazu cyfrowego

Tym, którzy nie słyszeli o pikselach, rozdzielczości albo głębi kolorów szczególnie polecamy zapoznanie się z tą częścią kompendium. Omówione tu zostały wszystkie terminy niezbędne do zrozumienia specyfiki obrazu cyfrowego. Zgodnie z definicją w Wikipedii: "Obraz cyfrowy jest reprezentacją obrazu dwuwymiarowego, stworzoną z jedynek i zer (kod binarny)" [źródło]. Programy komputerowe wiedzą, w jaki sposób odczytywać i interpretować te zera i jedynki, dzięki czemu są w stanie wyświetlać obrazy na ekranie monitora. Istnieją dwa typy obrazów cyfrowych. Kiedy mowa o obrazach cyfrowych, najczęściej chodzi o grafikę rastrową, ponieważ jest ona spotykana w większości przypadków. Istnieją jednak także obrazy wektorowe, zbudowane odmiennie niż obrazy rastrowe, charakteryzujące się innymi właściwościami. Obrazy wektorowe nie są w kontekście niniejszego opisu szczególnie istotne, ponieważ większość istniejącego sprzętu do skanowania tworzy obrazy rastrowe. Cyfrowy obraz rastrowy składa się z elementów nazywanych pikselami. Każdy obraz rastrowy składa się z ustalonej liczby wierszy i kolumn wypełnionych pikselami, które są podstawowymi jednostkami informacji. Każdy piksel zawiera informacje na temat koloru i jego intensywności. Im więcej mamy pikseli w cyfrowym obrazie, tym więcej informacji może być zaprezentowanych odbiorcom, oznacza to, że obraz może być bardziej dokładny, lub przedstawiać większe obiekty. Właściwość dotycząca zapisu większej lub mniejszej ilości informacji nazywana jest rozdzielczością obrazu. Im więcej pikseli, tym większa rozdzielczość i tym bardziej szczegółowe jest odwzorowanie obiektów prezentowanych na ekranie. Rozdzielczość obrazu może być mierzona w różny sposób, np. sumaryczną liczbą pikseli.

Jak już zostało powiedziane, każdy piksel przechowuje dane na temat koloru i jego intensywności - te informacje mogą być mniej lub bardziej szczegółowe. Ilość informacji na temat koloru jest określana jako głębia kolorów i jest mierzona w bitach na piksel (ang. bits per pixel, BPP). Najmniejszą wartością BPP jest 1, w tym przypadku każdy piksel może przechowywać tylko informacje na temat dwóch kolorów, np. czy dany piksel jest czarny czy biały. Współczesne komputery z łatwością radzą sobie z 24 bitami na piksel, co pozwala uzyskać 16,7 milionów różnych kolorów. Wydaje się, że 16,7 milionów to stosunkowo duża liczba, ale niektóre profesjonalne aparaty cyfrowe używają jeszcze większej głębi kolorów, aby osiągnąć lepszą jakość tworzonych zdjęć.

Ilustracja 1. Ten sam obraz w różnych rozdzielczościach [źródło]. Jak wskazano wcześniej, rozdzielczość obrazu cyfrowego określa zdolność do zakodowania informacji i może opisywać różne aspekty obrazu cyfrowego.

• Liczba pikseli
  • może być wyrażona liczbą pikseli wzdłuż każdego z dwóch boków obrazu
    • np. 640 na 480 - gdzie pierwsza liczba wskazuje liczbę pikseli w kolumnach (szerokość), a druga liczbę pikseli w wierszach (wysokość),
  • lub całkowitą liczbą pikseli w obrazie
    • np. 0,3 megapikseli to 307200 (640 razy 480) pikseli - ten sposób zapisu jest stosowany przez producentów aparatów cyfrowych
• Głębia kolorów
  • Liczba bitów potrzebna do zakodowania informacji o kolorach pikseli, np. 24 BPP (bity na piksel) (16,7 milionów kolorów) lub 1 BPP (2 kolory, obraz bitonalny)

Te dwa aspekty rozdzielczości są kluczowe w kontekście celów tego kompendium. Istnieje także inna metoda pomiaru rozdzielczości w zakresie gęstości pikseli w jednostce długości, np. ilość pikseli na cal (ang. pixels per inch). Jest to szczególnie istotne, kiedy mamy do czynienia z takimi urządzeniami jak skanery. Im większa liczba pikseli na cal, tym dokładniejszy będzie zeskanowany obraz. Ilustracja 1. prezentuje przykład tego samego obrazu w różnych rozdzielczościach. W przypadku niektórych, niższych rozdzielczości nie uda się odwzorować oryginalnego obiektu, a w wyższych będzie widoczny tylko jego ogólny zarys.

Kompresja obrazu

Kolejnym istotnym terminem, niezbędnym do zrozumienia charakterystyki obrazów cyfrowych, jest kompresja. Aparaty cyfrowe i inne urządzenia, pozwalające na tworzenie obrazów cyfrowych, stają się coraz bardziej zaawansowane - obrazy cyfrowe tworzone z użyciem najprostszych nawet modeli - składają się z dużej liczby pikseli. Jak już wspomniano, większa ilość informacji oznacza dłuższy czas pobierania i większą ilość przestrzeni dyskowej potrzebnej do przechowywania danego obrazu cyfrowego (należy pamiętać, że więcej pikseli to więcej informacji). Czy można coś zrobić, aby ograniczyć czas pobierania obrazów w dużej rozdzielczości, sprawić by rozmiar plików był mniejszy, mimo iż odwzorowanie jest wciąż bardzo dokładne? Jak się okazuje jest to osiągalne dzięki zastosowaniu kompresji. Kompresja (oraz dekompresja) jest stosowana przez programy komputerowe, takie jak edytory graficzne, przeglądarki obrazów, przeglądarki internetowe i wiele innych. Kompresja może działać w różny sposób, tzn. może mieć różną skuteczność, być stratna lub bezstratna. Zastosowanie konkretnej metody jest zwykle związane z formatem pliku użytego do zapisu obrazu cyfrowego na dysku twardym komputera. Niektóre formaty plików mogą przechowywać zarówno obrazy skompresowane (bezstratnie) jak i nieskompresowane informacje, np. format TIFF. Inne stosują tylko kompresję stratną np. format GIF. Wybór właściwego formatu zależy więc od tego, do jakich celów ma być on używany. Wybrane, najczęściej używane formaty plików, będą opisane w dalszej części kursu. Kompresja stratna jest formą kompromisu pomiędzy utratą informacji i redukcją rozmiarów pliku. Ilość informacji, jaką się traci, może być regulowana dzięki dostosowaniu poziomu kompresji. Im większy współczynnik kompresji, tym większa utrata informacji o obrazie i mniejszy rozmiar pliku. Należy pamiętać, że kompresja stratna to proces nieodwracalny. W zamian za mniejszy rozmiar pliku z obrazem traci się część informacji. Ponieważ informację traci się bezpowrotnie, nie jest możliwy powrót do oryginału, nawet po dekompresji. Kompresja bezstratna jest pozbawiona tej niegodności, obraz może być skompresowany bez jakiejkolwiek utraty informacji. Warto jednak pamiętać, że plik będący wynikiem działania metod stratnych w większości przypadków będzie mniejszy niż w przypadku zastosowania metod bezstratnych.

Charakterystyka obrazu cyfrowego - podsumowanie

Głębia kolorów i rozdzielczość, tak jak typ kompresji, są kluczowe w cyfrowym przetwarzaniu obrazu. Ważne jest, aby pamiętać, że każdy obraz cyfrowy powstały w wyniku skanowania składa się z pikseli - podstawowych jednostek informacji opisujących obraz. Im więcej pikseli w obrazie cyfrowym, tym większa jest rozdzielczość obrazu. Głębia kolorów to kolejna istotna informacja. Dla niektórych zastosowań 1 bit na piksel jest wystarczający, ale współczesny sprzęt komputerowy może bez trudu zobrazować 16,7 mln kolorów. Duża rozdzielczość może spowodować, że obraz przyjmie bardzo duże rozmiary, co będzie skutkowało długim czasem pobierania pliku. Rozmiar pliku może być zredukowany dzięki zastosowaniu różnych algorytmów kompresji. Niektóre z nich oferują bardzo dobry stopień kompresji, ale są stratne - w rezultacie tego procesu następuje utrata części informacji. Film 1. Jak zmienia się wielokrotnie kompresowany obraz [źródło].   Należy pamiętać, że kompresja stratna powoduje utratę informacji. Jest to szczególnie ważne, gdy stratnie skompresowany obraz jest przetwarzany np. w programie graficznym. Przy jego ponownym zapisaniu dokonywana jest kolejna kompresja stratna, a więc tracone są kolejne informacje. Proces degradacji obrazu w wyniku zastosowanie wielokrotnej kompresji stratnej prezentuje wideo z Filmu 1.

Sprzęt do skanowania

W poniższej części termin "sprzęt do skanowania" będzie używany do określenia wszystkich urządzeń rejestrujących obraz, włącznie z aparatami cyfrowymi. Skanowanie jest istotną częścią pracy w procesie digitalizacji. Przed rozpoczęciem procesu skanowania, należy zdecydować, jaki typ skanera będzie najlepszy do danego obiektu. Aby podjąć właściwą decyzję, należy być świadomym różnic pomiędzy urządzeniami i ich właściwościami. W tej części zaprezentowane zostaną przykłady sprzętu do skanowania z możliwymi zastosowaniami do różnego typu materiałów. Poniżej znajduje się podstawowa klasyfikacja sprzętu skanującego wraz z krótkim opisem [źródło].

Ilustracja 2. Skaner płaski [źródło].

Skanery płaskie

Skaner płaski najczęściej składa się z szyby (lub płyty), pod którą znajduje się źródło jasnego światła oświetlające szklaną powierzchnię oraz poruszające się czujniki optyczne. Obrazy przeznaczone do skanowania umieszczone są wierzchem do dołu na szybie, nieprzejrzysta pokrywa uniemożliwiająca przedostanie światła zewnętrznego zostaje opuszczona, następnie czujnik optyczny oraz wiązka światła zostają przesunięte wzdłuż szyby, skanując cały obszar. Obraz widziany jest przez sensor tylko dzięki światłu odbitemu przez obiekt. [źródło]. Skanery płaskie są najbardziej popularne i należą do najczęściej sprzedawanego typu. Są wielofunkcyjne, proste w obsłudze i szeroko dostępne. Ich popularność sprawia, że najtańsze z nich kosztują mniej niż 300 złotych [źródło], co jednak wpływa na jakość skanów. Film 2. Wideo prezentuje skaner sposób w jaki należy użytkować skaner płaski [źródło] Skanery płaskie najczęściej dostosowane są do obiektów wielkości od A4 do A3+ co sprawia, że zajmują niewiele miejsca. Ich niska wrażliwość na światło zewnętrzne sprawia, że nie wymagają specjalnych warunków, w których dokonuje się skanowania. Niektóre skanery płaskie wyposażone są w automatyczne podajniki dokumentów (ang. Automatic Document Handlers, ADH), które zwiększają przepustowość i zmniejszają ilość pracy w przypadku zbioru jednakowych dokumentów o stosunkowo dobrym stanie zachowania [źródło]. Jeśli chodzi o niedogodności, jakie dotyczą skanerów płaskich, to oprócz niewielkiej wydajności, na pewno nie są najlepszym rozwiązaniem dla obiektów wielostronnicowych i klejonych. Jest jednak specjalny typ skanera płaskiego - skaner książek z wysięgnikiem (ang. overhead book scanner), w którym źródło światła, siatka sensorów i optyka przesunięte są do wysięgnika znajdującego się nad skanowanym obiektem, pod którym umieszcza się obiekt wierzchem do strony skanującej [źródło]. Unika się skanowania cennych lub mocno zniszczonych obiektów na tego typu skanerach, ponieważ silne oświetlenie może stanowić zagrożenie.

Ilustracja 3. Specjalny skaner do książek. Zdjęcie autorstwa Bena Woosleya, udostępnione na zasadach licencji Creative Commons [źródło].

Inne typy skanerów

Skanery z podajnikiem

Skanery z podajnikiem działają w podobny sposób, co skanery płaskie, ale mają zwiększoną przepustowość, co jednak dzieje się kosztem utraty jakości. Zaprojektowane są dla wymagań biznesowych. Na ogół oferują skanowanie czarno-białe lub w odcieniach szarości, ale w niskiej rozdzielczości. [źródło]

Skanery przelotowe (dokumentowe)

Obsługują format A4, rzadziej A3. Ich niewielkie rozmiary i waga sprawdzają się we współpracy z komputerami przenośnymi. Zaletą jest niewątpliwie duża prędkość skanowania, jednak skanerami przelotowymi skanować można wyłącznie rozdzielone arkusze o określonych formatach, niepodlegające ochronie lub w doskonałym stanie, gdyż ten typ skanerów naraża obiekty na możliwość uszkodzenia arkuszy. Ilustracja 4. Skaner przelotowy [źródło]

Skanery bębnowe

Skanery bębnowe zapewniają najwyższą rozdzielczość i najlepszą jakość skanów, ale są bardzo kosztowne. Inne wady to powolna praca tych urządzeń, brak możliwości zeskanowania kruchych i łamliwych dokumentów oraz wymóg dużej wiedzy i doświadczenia osób obsługujących takie skanery. Idealne do skanowania luźnych stron. [źródło].

Skanery dedykowane

Są to urządzenia zaprojektowane do konkretnych zadań np. skanery do dokumentacji aktowej. Dostosowują się do praktycznie wszystkich rodzajów obiektów piśmienniczych, ponieważ mogą być wyposażone w m.in. stół z szalkowymi pulpitami dopasowującymi się do grubości książki, szybę dociskającą, opcję stołu kołyskowego czy zimne oświetlenie bez promieniowania UV i IR, o niskiej intensywności. Używane są do formatów od A4 po A0, są uniwersalne i mają zazwyczaj dość dużą prędkość skanowania. Skanery dedykowane to jednak dość drogi sprzęt, wrażliwy na zakłócenia przez światło z otoczenia. Ilustracja 5. Skaner dedykowany Bookeye 4 [źródło]

Skanery do mikrofilmów

Ten typ skanera jest przeznaczony do digitalizacji filmów szpulowych, mikrofisz i kart perforowanych. Jest to sprzęt wysoce specjalizowany a więc drogi. Gdy zachodzi potrzeba skanowania mikrofilmów warto rozważyć zatrudnienie firmy zewnętrznej posiadającej odpowiednie doświadczenie i sprzęt. "Otrzymanie skanów o dobrej i spójnej jakości ze skanera mikrofilmów może być trudne z powodu skomplikowanej obsługi, różnic w jakości i stanie zachowania klisz oraz bardzo niewielkich możliwości wprowadzania korekt. [źródło]" Mimo swoich wad, skanery mikrofilmów są jednak bardzo szybkie, potrafią zeskanować nawet do 500 stron na minutę [źródło].

Skanery 3D

• To najnowsza technologia skanerów bezdotykowych, które pozwalają na bezpieczny pomiar 3D obiektów muzealnych - umożliwiają przeprowadzenie pełnej digitalizacji zabytku.

Wykorzystanie aparatów cyfrowych

Wykorzystanie aparatu cyfrowego wraz ze specjalnym statywem pozwala uzyskać obrazy o bardzo dobrej jakości, bez ograniczeń wielkości obszaru skanowania. Format skanowanych materiałów jest często ograniczeniem w przypadku tradycyjnych skanerów. Aparaty znajdują zastosowanie w przypadku digitalizacji zarówno małych jak i dużych obiektów, można je wykorzystywać przy digitalizacji obiektów płaskich (kartki, książki) jak i trójwymiarowych (np. eksponaty muzealne). Mimo swoich zalet, aparaty cyfrowe są jednak de facto wolniejsze i bardziej skomplikowane w obsłudze, niż skanery płaskie. "Większość wrażliwych/kruchych materiałów może być bezpiecznie digitalizowana, jednakże konieczność użycia zewnętrznego oświetlenia może wiązać się z uszkodzeniami powodowanymi przez światło". [źródło] Ilustracja 6. pokazuje sposób skanowania książki przy użyciu aparatu cyfrowego. Zwykle aparat jest montowany na specjalnym statywie umieszczonym nad obiektem.

Ilustracja 6. Skanowanie książki z użyciem aparatu cyfrowego [źródło]

Jak wybrać odpowiedni skaner?

Według poradnika Moving Theory into Practice. Digital Imaging Tutorial [źródło]: "Specyfikacja skanerów może być trudna do interpretacji, co w połączeniu z brakiem standaryzacji sprawia, że bezpośrednie porównania sprzętu są niemożliwe. [...] Przy zgłębianiu informacji na temat dostępnych skanerów należy mieć na uwadze fakt, że większość tych urządzeń zaprojektowana została dla potrzeb sektora biznesu lub segmentu sztuk graficznych, które stanowią duży rynek zbytu. Zaledwie kilka urządzeń zaprojektowano specjalnie z możliwością dostosowania ich do specyficznych potrzeb bibliotek i archiwów. Zadaniem osoby planującej digitalizację będzie ustalenie który skaner jest najbardziej odpowiedni do danego zadania". Niektóre typy skanerów są bardzo kosztowne i ich zakup przekracza możliwości finansowe małych instytucji. Urządzenia takie są rzeczywiście funkcjonalne i szybkie, ale większość czynności, które można wykonać z użyciem zaawansowanego technologicznie sprzętu, może być wykonana (w nieco wolniejszym tempie) przez aparaty cyfrowe lub proste skanery płaskie. Istnieją także inne rozwiązania problemu związanego z brakiem dużych środków - można zakupić używany sprzęt albo zbudować go samodzielnie. Film 3. Samodzielnie wykonany skaner do książek - film autorstwa Daniela Reetza umieszczony na Vimeo.

Właściwości techniczne sprzętu do skanowania

Przedstawiona już została podstawowa klasyfikacja sprzętu do skanowania. W tej części zostaną podane techniczne właściwości tego sprzętu.

• Głębia kolorów/Zakres tonalny
  • Skaner powinien być w stanie obsłużyć co najmniej 24 bity na piksel.
• Zakres rozdzielczości
  • Zamiast rzeczywistej rozdzielczości optycznej skanerów, producenci posługują się często rozdzielczością interpolowaną, która jest znacząco wyższa od optycznej. Rozdzielczość interpolowana jest tworzona przez program komputerowy (na etapie obróbki po skanowaniu) i nic nie mówi o możliwościach sprzętu do skanowania. Zakres rozdzielczości skanera jest wyrażony w punktach na cal (ang. points per inch) lub próbkach na cal (ang. pixels per inch, PPI). W 2009 roku zaawansowane technicznie skanery płaskie były w stanie skanować w rozdzielczości do 5400 PPI. To bardzo wysoka wartość, na potrzeby digitalizacji wystarcza 1000 PPI.
  • Rozdzielczość aparatu cyfrowego jest zwykle wyrażona w megapikselach. Liczba megapikseli nie jest jedynym istotnym czynnikiem przy wyborze aparatu, ale jest on bardzo ważny.
• Wyjściowy format obrazu
  • Skanery są w stanie tworzyć obrazy wyjściowe w różnych formatach, w tym w bezstratnych (TIFF, BMP) oraz stratnych, takich jak JPEG. Obrazy mogą zostać poddane kompresji w późniejszym czasie, zatem najważniejsze jest to, aby w wyniku skanowania otrzymać obraz bezstratny.
• Typy obsługiwanych materiałów
  • Wśród skanerów bywają takie, które mogą skanować błyszczące (odbijające światło) i przezroczyste materiały.
• Rozmiar powierzchni skanującej
  • Ten parametr jest istotny, jeśli zakłada się skanowanie niestandardowych dokumentów.
• Typ połączenia z komputerem
  • Zazwyczaj do połączenia urządzenia skanującego z komputerem służy kabel USB.
• Szybkość skanowania
• Zakres gęstości optycznej
  • Skaner obsługujący wysokie zakresy gęstości optycznej potrafi dobrze reprodukować szczegóły związane z cieniami i jaskrawością w skanowanym obiekcie.
• Cykl życiowy urządzenia
  • Jak długo skaner będzie w stanie pracować? Istotnym elementem wpływającym na długości życia skanera jest jego obsługa oraz konserwacja. Materiały biblioteczne i archiwalne często są w stanie który powoduje zanieczyszczenie optyki i mechaniki skanera.
• Wsparcie dla standardowych interfejsów oprogramowania
  • Może to brzmieć nieco skomplikowanie, ale to bardzo przydatna funkcjonalność. Skaner oferujący wsparcie dla standardowego interfejsu programów może się komunikować bezpośrednio z oprogramowaniem komputerowym, np. programem Adobe Photoshop. Najczęściej używany jest interfejs TWAIN.

Niektóre skanery posiadają w pakiecie oprogramowanie służące optycznemu rozpoznawaniu znaków (ang. Optical Character Recognition, OCR). W przypadku skanowania dokumentów tekstowych, istnieje dzięki temu możliwość uzyskania plików PDF, zawierających nie tylko zeskanowany obraz, ale także rezultaty pracy programów typu OCR (czyli przeszukiwalny tekst).

Monitory

Dobór monitora zależy od typu obiektów przeznaczonych do digitalizacji. Właśnie dlatego jeden typ instytucji nie będzie potrzebował żadnego wyspecjalizowanego rodzaju monitorów, natomiast inni będą musieli nabyć droższe, graficzne monitory o dużej rozdzielczości. Jednak pomimo tego, wszystkie instytucje powinny posiadać monitory pozwalające na wyświetlenie całego materiału uzyskanego w procesie skanowania tak, aby widoczne były wszystkie zarejestrowane szczegóły. Monitor wykorzystywany do bardziej zaawansowanych operacji powinien charakteryzować się jak najwierniejszym odwzorowaniem barw. Obecnie, sercem każdego monitora jest matryca LCD i to właśnie od jej konstrukcji zależy charakterystyka barwna i zakres zastosowań monitora. Aktualnie rozróżniamy trzy rodzaje matryc LCD:

• TN – najpopularniejsza (wyposażone jest w nią ok 90% monitorów), najtańsza, o szybkim czasie reakcji, jednak niezbyt dobrej jakości. Sprawdzi się głównie przy korzystaniu z programów biurowych (arkusze kalkulacyjne, edytory tekstu), natomiast nie jest polecana do edycji wideo czy grafiki.
• VA jest pewnym kompromisem między ceną a jakością - sprawdza się przy cyfryzacji obiektów wymagających większej obróbki graficznej, są wszechstronne a przy tym oferowane zazwyczaj za przystępną cenę, jednak niektórych zniechęcać może długi czas reakcji.
• IPS to trzeci, najbardziej zaawansowany typ matryc o bardzo szerokich kątach widzenia w poziomie i pionie. Jeszcze jakiś czas temu były one trudno osiągalne ze względu na koszt, jednak po wprowadzeniu nowych linii produkcyjnych, cena znacząco zmalała. Matryce te znajdą zastosowanie w zaawansowanych konstrukcjach, w których ważne jest poprawne odwzorowanie barw.

 

Co należy wiedzieć na temat oprogramowania używanego w procesie digitalizacji?

Wprowadzenie do tematu oprogramowania do digitalizacji

W kontekście tematyki kompendium, oprogramowanie dzielimy na dwie zasadnicze grupy:

• oprogramowanie, które umożliwia proces digitalizacji,
• oprogramowanie, które upraszcza, przyspiesza i doskonali proces digitalizacji.

Każdy program posiada swoje minimalne wymagania odnośnie mocy komputera, systemu operacyjnego lub dostępności innych programów. Przed podjęciem decyzji o kupnie lub użytkowaniu danego programu komputerowego, należy zastanowić się czy będzie on poprawnie działał na naszym komputerze. Większość sprzedawców oprogramowania oferuje czasowe, darmowe wersje próbne programów, które pozwalają na przetestowanie ich przed kupnem. Oprócz oprogramowania komercyjnego, istnieje wiele programów darmowych, które czasem oferują bardziej zaawansowane rozwiązania, niż programy płatne. Jednak instalacja i efektywne użytkowanie darmowego oprogramowania może wymagać od nas dodatkowej wiedzy technicznej. W małych instytucjach może być to problem, w związku z niewielką ilością pracowników o odpowiednich kwalifikacjach informatycznych. Niemniej jednak, warto sprawdzić czy są dostępne jakieś darmowe aplikacje, które można byłoby wykorzystać do realizacji określonych zadań. Niewątpliwie, ze względu na często wysokie opłaty licencyjne, być może warto poświęcić nieco czasu na instalację i naukę obsługi oprogramowania bezpłatnego.

Jakiego typu oprogramowanie jest potrzebne?

Oprogramowanie komputerowe odgrywa bardzo ważną rolę w procesie digitalizacji. Poniższa lista uwzględnia wszystkie fazy procesu cyfryzacji opisane w pierwszym temacie tego kompendium. Należy zwrócić uwagę, że ze względu na sporą liczbę czynności, które należy wykonywać, pożyteczne mogą okazać się bardzo różne programy komputerowe - począwszy od arkusza kalkulacyjnego Microsoft Excel/OpenOffice Calc (w którym można rejestrować listę obiektów, liczbę stron, ich stan i lokalizację) przez oprogramowanie OCR, aż po profesjonalne programy graficzne.

• Wybór obiektów do digitalizacji
  • System katalogów komputerowych
  • Arkusz kalkulacyjny
• Przygotowanie metadanych obiektów
  • System katalogów komputerowych
  • Arkusz kalkulacyjny
• Proces skanowania
  • Sterowniki sprzętu do skanowania
  • Oprogramowanie sprzętu do skanowania
• Obróbka po skanowaniu
  • Oprogramowanie graficzne
  • Oprogramowanie do edycji audio i wideo
• Wyodrębnianie tekstu z obrazów
  • Oprogramowanie do optycznego rozpoznawania znaków (OCR)
  • Edytor tekstu
• Przygotowanie obiektów do prezentacji w sieci
  • Oprogramowanie graficzne, które pozwala na przetwarzanie wsadowe wskazanych plików
• Konserwacja długoterminowa
  • Aplikacja, która pozwala na przesyłanie plików do miejsca przechowywania kopii zapasowych
• Publikacja obiektu w sieci
  • Oprogramowanie do bibliotek cyfrowych
• Śledzenie postępu całego procesu
  • Arkusz kalkulacyjny

W dalszej części omówione zostaną aplikacje należące do każdej z wyżej wymienionych kategorii.

Programy komputerowe w procesie digitalizacji

Duże znaczenie dla osiągnięcia planowanych celów digitalizacji mogą mieć niewątpliwie elektroniczne wersje katalogów bibliotecznych. Katalog elektroniczny może znacząco przyspieszyć proces wyboru materiałów do digitalizacji. Ponadto, w katalogach zawarte są opisy bibliograficzne, które można wykorzystać do stworzenia metadanych dla zdigitalizowanych obiektów. Istnieją różne systemy, które pozwalają tworzyć katalogi OPAC (publicznie dostępne w sieci katalogi bibliotek). Najprostszym sposobem (zakładając, że istnieje taka potrzeba) na stworzenie listy zasobów do digitalizacji jest stworzenie współdzielonego arkusza kalkulacyjnego. Takie możliwości oferują np. Dokumenty Google (ang. Google Docs) - sposób postępowania dla tej aplikacji został szerzej opisany w tym dokumencie. Dzięki takiemu rozwiązaniu możliwa będzie współpraca wielu osób nad opracowywaniem danego dokumentu. W przypadku, gdy digitalizacja będzie realizowana przez kilka osób, mogą one wykorzystywać taki arkusz do zapisywanie bieżącego stanu prac i komunikacji. Przygotowanie aktualnego spisu posiadanych obiektów jest bardzo ważne, aczkolwiek nie jest niezbędne dla powodzenia procesu digitalizacji. Ilustracja 7. Interfejs edycyjny aplikacji Dokumenty Google nie różni się znacznie od tradycyjnych edytorów tekstu Producenci skanerów do każdego z urządzeń dołączają sterowniki sprzętowe. Są one rodzajem tłumaczy pomiędzy językiem używanym przez dany system operacyjny i/lub komputer, a urządzeniem skanującym. Bez sterowników nie jest możliwe skanowanie danym sprzętem. Oprócz sterowników, sprzedawcy dołączają do sprzętu również oprogramowanie, które pozwala na pobieranie obrazu ze skanera i wykonywanie prostych operacji graficznych, np. wycinanie, obracanie itp. W przypadku zgodności skanera z popularnym interfejsem programowym, takim jak TWAIN (które zapewnia większość współczesnych skanerów), żadne dodatkowe oprogramowanie nie jest tak naprawdę potrzebne, wystarczą właściwe narzędzia graficzne np. Adobe Photoshop czy GIMP. Zwykle jednak użytkownik sprzętu nie ma wyboru i musi zainstalować co najmniej sterowniki producenta w komputerze do którego podłączony będzie skaner. W dalszej kolejności przedstawiono informacje na temat aplikacji, które mogą być pomocne w kolejnych etapach procesu digitalizacji i bezpośrednio po zakończeniu właściwego skanowania. Niektóre etapy, takie jak przygotowanie wersji do prezentacji w sieci, zależą w dużej mierze od typu digitalizowanych materiałów. Inne oprogramowanie będzie używane do obróbki obrazów statycznych, a inne dla filmów. W kolejnych częściach kompendium opisana będzie każda z wspomnianych kategorii oprogramowania, w tym zarówno programy komercyjne jak i darmowe.

Darmowe oprogramowanie graficzne

Ilustracja 8. GIMP podczas pracy, zrzut ekranu pochodzi z oficjalnej strony GIMP-a [źródło]

• Strona projektu: http://gimp.org/
• Systemy operacyjne: MS Windows, UNIX, Mac OS X

Jest to bezpłatny program, przeznaczony do zadań takich, jak retusz zdjęć, poprawianie kompozycji obrazu i przygotowywanie obrazów do prezentacji w sieci i wydruku. Program posiada bardzo rozbudowane możliwości, może być używany zarówno jako prosty program graficzny, zaawansowane narzędzie do retuszu zdjęć jak i konwerter formatów plików, itp. Podstawowe funkcje mogą być rozszerzane poprzez wykorzystanie dodatkowych wtyczek (ang. plug-ins). Zaawansowany interfejs skryptowy pozwala utworzyć skrypty wykonujące zarówno najprostsze zadania, jak i bardzo zaawansowane procedury edycji obrazów. Możliwe jest na przykład przygotowanie skryptu, który otworzy 100 obrazów z dysku twardego komputera, a następnie je obróci. GIMP został stworzony jako darmowa alternatywa dla Photoshopa.

Google Picasa

Film 4. Krótka prezentacja możliwości programu Picasa

• Strona projektu:http://picasa.google.com/
• System operacyjny: MS Windows, UNIX, Mac OS X

Oprogramowanie Picasa oferuje prosty interfejs umożliwiający przeglądanie, edycję i organizowanie kolekcji zdjęć zgromadzonych na dysku twardym komputera. Picasa jest jednym z bardziej użytecznych narzędzi, jeśli chodzi o obróbkę zdjęć. Jest to bardzo prosty w użyciu program, oferujący przy tym bardzo dużo możliwości. Picasa umożliwia realizację podstawowych czynności korygujących (takich jak wycinanie, wyrównywanie, korekta ostrości i kontrastu) i niektóre opcje dostosowywania (takie jak temperatura barwowa), czy efekty specjalne (konwersja na obraz czarno-biały, itp). Możliwe są także dodatkowe czynności, takie jak dodawanie do zdjęć geo-tagów (łączenie informacji o współrzędnych geograficznych obiektu przedstawionego na zdjęciu) czy przetwarzanie kilku zdjęć naraz.

Scribus

• Strong projektu: http://www.scribus.net/
• System operacyjny: MS Windows, UNIX, Mac OS X

Scribus jest darmowym programem do cyfrowego składu drukarskiego. Użytkownicy mogą profesjonalnie przygotować swoje publikacje (wsparcie dla palety barw w trybie CMYK, zarządzanie kolorami w trybie ICC), a następnie zapisać je w postaci gotowego do druku pliku PDF.

Hugin

• Strona projektu: http://hugin.sourceforge.net/
• Systemy operacyjne: MS Windows, UNIX, Mac OS X

Hugin umożliwia "zszywanie" serii obrazów. Dzięki temu programowi możliwe jest stworzenie bardzo szczegółowego obrazu poprzez połączenie kilku zdjęć. Program może również służyć do tworzenia naprawdę pięknych i intrygujących obrazów.

Adobe Acrobat Reader

• Strona projektu: http://get.adobe.com/reader/
• Systemy operacyjne: MS Windows, UNIX, Mac OS X

To darmowe, bardzo popularny program, które pozwala wyświetlać i drukować pliki PDF.

Gsview

• Strona projektu: http://www.ghostscript.com/
• Systemy operacyjne:MS Windows, UNIX, Mac OS X

Gsview to prosta aplikacja (ale z dużymi możliwościami), która pozwala oglądać zawartość plików PDF i PS.  

Płatne programy graficzne

Adobe Photoshop

• Strona producenta: http://www.adobe.com/products/photoshop/
• Systemy operacyjne: MS Windows, Mac OS X

Ilustracja 9. Edycja zdjęć w programie Adobe Photoshop. Zdjęcie autorstwa liewcf. Photoshop jest uważany w środowisku grafików za standard w dziedzinie programów do obróbki grafiki cyfrowej. Jeśli potrzebne jest narzędzie do retuszu zdjęć lub przetwarzania dużej liczby obrazów, Photoshop z pewnością będzie dobrym programem. Oferuje on również wiele innych funkcji, jest dostępny w różnych wersjach, także z dodatkowymi programami, takimi jak np. Adobe Lightroom. Nie ulega wątpliwości, że największą wadą Photoshop'a jest jego wysoka cena.

Corel Paint Shop Pro

• Strona producenta: http://www.corel.com/paintshoppro
• System operacyjny:MS Windows

Jest to obecnie główny konkurent Photoshopa. Oferuje mniejsze możliwości, ale wystarczająco dużo na potrzeby procesu digitalizacji, jest znacznie tańszy niż Adobe Photoshop.

Darmowe oprogramowanie do obróbki audio i wideo

Kompendium zostało opracowane z myślą o obrazach statycznych i dokumentach tekstowych, ale nie ulega wątpliwości, że materiały audio i wideo stają się coraz ważniejsze w codziennej praktyce małych instytucji kultury. Poniżej znajduje się opis narzędzi, które mogą okazać się w tym kontekście przydatne.

Audacity

• Strona projektu: http://audacity.sourceforge.net
• Systemy operacyjne: MS Windows, UNIX, Mac OS X

Audacity to darmowy, łatwy w użyciu i wielojęzyczny edytor audio. Może być używany do nagrywania audio, konwertowania taśm i kaset do postaci cyfrowej, pozwala również na edytowanie różnych plików dźwiękowych (wycinanie, kopiowanie, łączenia lub miksowania dźwięku). Pełna lista funkcji dostępna jest na stronie http://audacity.sourceforge.net/about/features.

OpenShot Video Editor

• Strong projektu: http://openshotvideo.com
• System operacyjny: UNIX

Jest to edytor wideo stworzony z myślą o użytkownikach darmowego systemu operacyjnego Linux. OpenShot wspiera dużą liczbę formatów plików wideo, pozwala tworzyć i edytować pliki wideo, miksować je z plikami audio.

PiTiVi

• Strong projektu: http://pitivi.org
• Systemy operacyjne:MS Windows, UNIX, Mac OS X

Jest to bogaty w funkcje edytor filmowy dla użytkowników Linuxa, który może być również używany w innych systemach operacyjnych. PiTiVi oferuje podobne możliwości co OpenShot, ale jest to bardziej dojrzały produkt. Zainteresowanych jego działaniem odsyłamy do Filmu 5. Film 5. PiTiVi w akcji

VLC media player

• Strong projektu: http://www.videolan.org/vlc
• Systemy operacyjne:MS Windows, UNIX, Mac OS X

Twórcy tego programu odtwarzającego wideo dumnie twierdzą, że "odtwarza on wszystko". Rzeczywiście, obsługuje on zarówno płyty DVD, płyty VCD i SVCD, płyty audio CD, internetowe pliki strumieniowe, karty telewizyjne. VLC posiada wbudowane kodeki, nie ma zatem potrzeby instalowania niczego poza samym VLC. Co ważne, potrafi on odtworzyć nawet uszkodzone pliki. Program umożliwia również konwersję plików wideo z jednego formatu do drugiego.

Windows Movie Maker

• Strong projektu: http://download.live.com/moviemaker
• Systemy operacyjne: MS Windows (Vista/7)

To darmowe oprogramowanie, które można ściągnąć ze strony firmy Microsoft. Pozwala edytować i miksować materiały wideo i audio, a następnie publikować je w formacie Windows Media Video (wmv).

Virtual Dub

• Strong projektu: http://www.virtualdub.org/
• Systemy operacyjne: MS Windows

VirtualDub to bardzo prosty program stworzony do edycji różnego rodzaju nagrań wideo. Możliwe jest skracanie, wycinanie fragmentów wideo, edycja ścieżki dźwiękowej, nakładanie na wideo różnego rodzaju filtrów. Wszystkiego można dokonać bez utraty jakości przetwarzanego materiału wideo.

Płatne oprogramowanie do obróbki audio i wideo

Ilustracja 10. Cyfrowe studio montażu wideo. Zdjęcie autorstwa YayAdrian [źródło].

Adobe Audition

• Strona producenta: http://www.adobe.com/products/audition/
• Systemy operacyjne:Windows, Mac OS X

Jest to kompletne, profesjonalne narzędzie, które pozwala nagrywać, miksować, tworzyć i aranżować materiały audio.

Adobe Premiere

• Strona producenta: http://www.adobe.com/pl/products/premiere/
• Systemy operacyjne: Windows, Mac OS X

Profesjonalny zestaw do tworzenia wideo, który daje dostęp do najnowocześniejszych narzędzi.

Apple Final Cut

• Strona producenta: http://www.apple.com/pl/finalcutstudio/
• System operacyjny: Mac OS X

Jest to profesjonalny program do nieliniowej edycji, rozwijany przez Macromedia Inc., a później Apple Inc. Oprogramowanie umożliwia użytkownikom zapisywanie wideo na dysk twardy (zewnętrzny lub wewnętrzny), gdzie może być edytowane, przetwarzane i zapisywane w wielu formatach.

Darmowe oprogramowanie do obróbki materiałów tekstowych

W tej części przedstawiono listę narzędzi, które mogą okazać się użyteczne w czasie tworzenia cyfrowych dokumentów tekstowych.

OpenOffice\LibreOffice

• Strona projektu:
  • http://openoffice.org
  • http://libreoffice.org
• Systemy operacyjne:MS Windows, UNIX, Mac OS X

Pakiet OpenOffice (obecnie pakiet ten funkcjonuje również pod nazwą LibreOffice) zawiera pełen zestaw komputerowych narzędzi biurowych. Zaczynając od arkusza kalkulacyjnego (Calc), programu graficznego (Draw) aż po edytor tekstu - Writer. Writer może być używany do tworzenia lub edycji dokumentów tekstowych. Dzięki możliwości skorzystania z szerokiej bazy słowników różnych języków obcych, może być także używany do korekty wyników przetwarzania OCR (sprawdzania pisowni). Warto również wspomnieć o tym, że program posiada możliwość tworzenia dokumentów PDF.

Google Docs

• Strona projektu: http://docs.google.com
• Systemy operacyjne: każdy - wymagana nowoczesna przeglądarka Internetowa np. Firefox, Chrome.

Jest to aplikacja działająca w przeglądarce internetowej, pozwala na tworzenie, dzielenie się i współpracę przy dokumentach tekstowych, arkuszach kalkulacyjnych i prezentacjach. Umożliwia także proste tworzenie ankiet internetowych, których wyniki mogą być analizowane i wizualizowane przy pomocy różnorodnych narzędzi (wyniki są udostępniane jako arkusz kalkulacyjny). Dokumenty Google (ang. Google Docs) zawierają wbudowane narzędzie do sprawdzania pisowni dla różnych języków. Dzięki możliwości udostępniania dokumentów, kilka osób może pracować nad jednym dokumentem w tym samym czasie.

Sun PDF Import Open Office Extension

• Strona projektu: http://extensions.services.openoffice.org/project/pdfimport
• Systemy operacyjne:MS Windows, UNIX, Mac OS X

Jest to rozszerzenie dla pakietu OpenOffice (należy posiadać zainstalowany pakiet OpenOffice) które umożliwia importowanie i wprowadzanie zmian do plików PDF. Jest to doskonałe rozwiązanie, które pozwala wprowadzić drobne zmiany w już istniejących plikach PDF (np. korekta danych).

PDFedit

• Strona projektu:http://pdfedit.petricek.net/en/index.html
• Systemy operacyjne: MS Windows, UNIX

Program służy do tworzenia plików PDF. Został stworzony pod darmowe systemy operacyjne z rodziny UNIX, może jednak także działać na systemach MS Windows.

Darmowe aplikacje do automatycznego rozpoznawania znaków

Tesseract

• Strona projektu: https://github.com/tesseract-ocr
• Systemy operacyjne:MS Windows, UNIX, Mac OS X

Tesseract OCR był jedną z trzech najlepszych aplikacji OCR w 1995 r. (według wyników badań przeprowadzonych na Uniwersytecie Nevady w Las Vegas). Między 1995 a 2006 r. nie pracowano nad rozwojem tej aplikacji. Z uwagi na to twórcy zdecydowali się udostępnić publicznie kod źródłowy tak, aby inne zainteresowane osoby, mogły wykorzystać Tesseracta do swoich celów. Jest on w tej chwili prawdopodobnie jednym z najbardziej zaawansowanych rozwiązań otwartoźródłowych w zakresie aplikacji OCR. Obecnie rozwój programu Tesseract jest aktywnie wspierany przez firmę Google. W wersji 3.0 dodano wsparcie dla języka polskiego.

OCRopus

• Strona projektu: https://github.com/tmbdev/ocropy
• Systemy operacyjne: MS Windows, UNIX, Mac OS X

OCRopus posiada większe możliwości niż sam Tesseract. Oferuje on takie funkcje jak analiza układu strony, system rozpoznawania pisma odręcznego, modelowanie statystyczne języka naturalnego. Oprogramowanie to nie osiągnęło jednak jeszcze finalnej postaci, w związku z tym, jego użytkowanie może wiązać się z koniecznością posiadania sporej wiedzy informatycznej. OCRopus jest również sponsorowany przez firmę Google.

FreeOCR

• Strona projektu: http://www.paperfile.net/
• Systemy operacyjne: MS Windows

Ilustracja 11. Interfejs programu FreeOCR. FreeOCR to darmowy program wykorzystujący Tesseract OCR. Zawiera instalator dla systemu Windows, jego użycie jest o wiele prostsze, niż praca z samym tylko Tesseractem. Program pozwala na przetwarzanie wielostronicowych plików TIFF czy Adobe PDF. FreeOCR potrafi także przyjmować obraz bezpośrednio z urządzenia skanującego dzięki wspaciu sterowników Twain i WIA.

Płatne aplikacje do automatycznego rozpoznawania znaków

ABBYY FineReader

• Strona produktu:http://finereader.abbyy.com/
• Systemy operacyjne: MS Windows, Mac OS X

Jest to najlepsze obecnie oprogramowanie OCR. Firma ABBYY oferuje również specjalną wersję tego oprogramowania - FineReader XIX, która umożliwia rozpoznawanie XIX-wiecznych, gotyckich czcionek.

Document Express (DjVu)

• Strona produktu: http://www.djvu.com.pl/download0.php
• Systemy operacyjne: MS Windows, Mac OS X

Program umożliwia tworzenie dokumentów w formacie DjVu, posiada wbudowaną obsługę ponad 100 języków. Obsługuje także przetwarzanie wsadowe. Jest szeroko stosowany w polskich bibliotekach cyfrowych.

Adobe Acrobat

• Strona produktu: http://www.adobe.com/products/acrobat/
• Systemy operacyjne: MS Windows, Mac OS X

Jest to pakiet firmy Adobe, który udostępnia szeroką gamę funkcji pozwalających na tworzenie i modyfikację plików w formacie PDF.

Oprogramowanie wspierające tworzenie wersji do publikacji w sieci

Większość narzędzi, które zostały omówione do tej pory, może być wykorzystana do tworzenia zasobów które zostaną udostępnione on-line. Oprócz nich dostępne są również inne aplikacje, które posiadają funkcje pozwalające na usprawnienie procesu publikacji dokumentów cyfrowych w sieci. W poprzednich tekstach wspominaliśmy krótko o przetwarzaniu wsadowym. Zanim przejdziemy do dalszych części tej lekcji, wyjaśnimy co ten termin oznacza. Przetwarzanie wsadowe to wykonywanie pewnej określonej serii czynności na zdefiniowanym (często dużym) zbiorze plików. Jest to ważne zadanie, szczególnie gdy mamy do czynienia z dużą liczbą plików, co ma miejsce przy tworzeniu pochodnych form obrazów cyfrowych.

PDF2DJVU

• Strona projektu: http://jwilk.net/software/pdf2djvu
• Systemy operacyjne: MS Windows, UNIX

Umożliwia konwertowanie obrazów cyfrowych zapisanych w plikach PDF do formatu DjVu. W niektórych przypadkach, metoda kompresji stosowana przez DjVu jest bardziej efektywna, niż ta w plikach PDF, tak więc uzasadnione jest publikowanie plików DjVu zamiast PDF.

BullZipfree PDF printer

• Strona projektu: http://www.bullzip.com/products/pdf/info.php
• Systemy operacyjne: MS Windows

Jest to darmowy program pełniący rolę wirtualnej drukarki, który umożliwia konwersję na format PDF praktycznie każdego typu dokumentu. Po instalacji jest on widoczny jako dodatkowa drukarka - gdy dokument jest gotowy do publikacji w sieci, można go po prostu wydrukować za pomocą wirtualnej drukarki. W rezultacie otrzymuje się plik PDF zawierający treść dokumentu.

ZoomifyExpress

• Strona projektu: http://www.zoomify.com/express.htm
• Systemy operacyjne: MS Windows, Mac OS X

Zoomify jest to format plików graficznych, które umożliwia prezentację wysokiej jakości obrazów w sieci. ZoomExpress jest to darmowa aplikacja pozwalająca stworzyć obrazy Zoomify ze zwykłych plików JPEG. Przykłady grafiki prezentowanej za pomocą Zoomify można znaleźć na stronie producenta. Przykład zdigitalizowanej mapy przygotowanej w formacie Zoomify znajduje się również na stronach Świętokrzyskiej Biblioteki Cyfrowej.

Nero AAC CODEC

• Strona projektu: http://www.nero.com/eng/downloads-nerodigital-nero-aac-codec.php
• System operacyjny: MS Windows

Bardzo wydajny i darmowy koder MPEG-4. Według niektórych testów może on utworzyć pliki nawet o 50% mniejsze niż ich wersje MP3.

FFmpeg

• Strona projektu: http://ffmpeg.org
• Systemy operacyjne: MS Windows, UNIX, Mac OS X

Jest to kompletne, wieloplatformowe rozwiązanie do nagrywania, konwersji i przekazu strumieniowego dźwięku i wideo. Zapewnia ono obsługę wszystkich liczących się formatów audio i wideo.

Irfanview

• Strona projektu: http://www.irfanview.com/
• System operacyjny: MS Windows

Program o dużych możliwościach, wykorzystywany do podglądu i konwersji obrazów. Obsługuje większość istniejących formatów plików graficznych.

ImageMagick

• Strona projektu: http://www.imagemagick.org/
• Systemy operacyjne: MS Windows, UNIX, Mac OS X

Jest to oprogramowanie do tworzenia, edytowania i komponowania obrazów bitmapowych. Może ono odczytywać, konwertować i zapisywać obrazy w ponad 100 formatach, w tym GIF, JPEG, JPEG-2000, PDF, PNG, SVG i TIFF. Za pomocą ImageMagick można tworzyć odbicia lustrzane, obracać, skalować, przekrzywiać i dokonywać transformacji obrazów, jak również dostosowywać barwy, stosować różne efekty specjalne, dodawać tekst, rysować linie, wieloboki i elipsy. Jest on obsługiwany za pomocą wiersza poleceń (nie ma graficznego interfejsu użytkownika).

OptiPNG

• Strona projektu: http://optipng.sourceforge.net/
• Systemy operacyjne: MS Windows, Linux, Unix

OptiPNG służy do optymalizacji plików graficznych w formacie PNG, potrafi zmniejszyć rozmiar plików zapisanych w tym formacie. Program ten konwertuje również formaty zewnętrzne (BMP, GIF, PNM i TIFF) do zoptymalizowanego PNG, dokonuje sprawdzenia i korekty integralności pliku PNG.

Publikacja obiektu w bibliotece cyfrowej

Przebieg procesu publikacji dokumentu cyfrowego w sieci (wraz z metadanymi) różni się w zależności od wykorzystywanego oprogramowania. W dalszej części kompendium zaprezentowany zostanie przebieg procesu publikacji w oparciu o najbardziej rozpowszechnione systemy do budowy bibliotek cyfrowych. Aby uzyskać dostęp do biblioteki cyfrowej nie zawsze trzeba budować ją własnymi siłami. Można spróbować skorzystać z uprzejmości innej instytucji i opublikować swoje obiekty w jej bibliotece cyfrowej.  

Czy własna pracownia digitalizacyjna to jedyne rozwiązanie?

Kiedy outsourcing jest rozwiązaniem dla digitalizacji?

Wybór sprzętu, oprogramowania oraz szkolenie ludzi to rzeczy, które na pewno trzeba będzie zrealizować w przypadku, gdy zdecydujesz się na tworzenie własnej pracowni digitalizacyjnej. Nie jest to jednak jedyna możliwa droga. W tej części omówiony zostanie szereg zagadnień związanych z outsourcingiem działań digitalizacyjnych. W pierwszej części kompendium wspomniano, że trudno jest podać precyzyjną definicję outsourcingu. Jednakże najszerzej rozpowszechniona definicja stosowana w biznesie mówi, że jest to zlecanie zadań zewnętrznemu wykonawcy" [źródło]. Outsourcing jest szeroko stosowany w różnych obszarach przemysłu. Może być również wykorzystywany do realizacji różnych etapów digitalizacji, na przykład w czasie procesu skanowania lub przetwarzania obrazów do wersji tekstowej. Korzystanie z usług zewnętrznych oznacza wykorzystanie sprzętu i doświadczenia osób trzecich, podczas gdy zespół realizujący projekt digitalizacyjny koncentruje się na tym co umie robić najlepiej. Korzystanie z takiej usługi oznacza, że koszt zakupu i utrzymywania specjalistycznego i drogiego sprzętu nie obarcza finansowo projektu. Wielu instytucjom nigdy nie uda się w pełni zamortyzować utraty wartości sprzętu zakupionego do tego celu przez co znacznemu zwiększeniu ulegają koszty całej operacji. Ilustracja 12. Samo skanowanie to za mało aby móc edytować tekst. Usługi OCR są częstym przedmiotem outsourcingu. Zdjęcie autorstwa _sarchi [źródło]. Inne powody, które przemawiają za skorzystaniem z usług outsourcingowych:

• Duża ilość pracy, która musi zostać wykonana w krótkim okresie czasu;
• Nadmierny koszt specjalistycznego wyposażenia (takiego jak np. skanery mikrofilmów);
• Brak możliwości zapewnienia wymaganej jakości z uwagi na brak umiejętności i doświadczenia własnego personelu;
• Ograniczenia lokalowe, niedostateczna infrastruktura lub kwalifikacje personelu, wykluczające realizację digitalizacji we własnej instytucji;
• Dla korzyści wynikających z oferowanych usług (z niższymi kosztami personelu, przekładającymi się na ceny) w takim zakresie jak masowe skanowanie dokumentów czy mikrofilmów, przetwarzanie plików graficznych do postaci tekstowej lub oznaczenie struktury dokumentu w cyfrowym tekście [źródło]

Outsourcing może diametralnie obniżyć koszty digitalizacji i zapewnić strategiczne korzyści. Aby sprawdzić, czy tak będzie w konkretnym przypadku, należy zastanowić się nad poniższymi pytaniami:

1. Czy możliwe będzie ponowne skupienie się na głównych umiejętnościach i wykorzystanie doświadczenia dostawcy w celu redukcji kosztów całościowych?
2. Czy zostaną podwyższone kompetencje i wzrośnie zdolność wykonania zadania?
3. Czy zwiększy się dostęp do kluczowych technologii i wyposażenia, które w innym przypadku byłyby nieosiągalne?
4. Czy uda się zredukować ryzyko i koszt starzenia się sprzętu (problemy związane ze starym sprzętem, technologiami, etatami)?
5. Czy uda się uzyskać korzyści ekonomiczne w zakresie zasobów ludzkich?
6. Czy będzie możliwe znalezienie personelu o odpowiednich kompetencjach?
7. Czy outsourcing wzmocni kontrolę nad wydatkami i kosztami ogólnymi?

Kiedy należy unikać outsourcingu?

Oprócz odpowiedzi na te pytania, należy także znać powody dla których angażowanie zewnętrznych wykonawców nie jest wskazane. Raz jeszcze odnieśmy się do "Handbook on Cost Reduction in Digitisation" Tannera [źródło]. Są pewne okoliczności kiedy digitalizowanie na miejscu ma przewagę nad zlecaniem tego zadania. Są to praktyczne i finansowe powody, takie jak:

• Przenoszenie kolekcji na zewnątrz jest trudne lub niemożliwe;
• Kolekcja jest nieprzygotowana, niezinwentaryzowana, nieskatalogowana na poziomie jednostek i wymaga reorganizacji, która będzie integralną częścią procesu digitalizacji;
• Potrzeby digitalizacji będą relatywnie skromne w przeciągu długiego okresu czasu;
• Działania związane z konserwacją zbiorów oryginalnych nie będą odpowiednio przeprowadzone w środowisku zewnętrznym;
• Zadania i cele związane z digitalizacją są kompleksowe i różnorodne;
• Zakres prac jest bardzo mały.

Wykonywanie digitalizacji na miejscu daje instytucji dodatkowe korzyści w postaci sprzętu, wysoko wyszkolonego personelu oraz zapewnia możliwość ścisłej kontroli nad zbiorami podlegającymi digitalizacji. Kolejnym powodem, dla którego podejmowanie digitalizacji w instytucji może być korzystne jest fakt, że czas pracowników, narzuty i materiały takie jak przestrzenie dyskowe mogą być pokryte z budżetu instytucji i nie muszą one występować jako koszt projektu, co wydaje się być tańszą opcją niż otusourcing.

Jakie prace można zlecić firmie zewnętrznej?

W ostatnich latach znacznie wzrosło zapotrzebowanie na usługi digitalizacyjne. Ze względu na to, wzrosło również zapotrzebowanie na usługi firm mogących kompleksowo realizować prace w zakresie digitalizacji dla instytucji dziedzictwa kulturowego. W artykule "The Current State-of-art in Newspaper Digitization. A Market Perspective" [źródło] Edwin Klijn opisuje jak Narodowa Biblioteka Holandii oceniała za pomocą ankiety przedsiębiorstwa zajmujące się digitalizacją. Ankieta zawiera pytania na temat najnowszych praktyk stosowanych w następujących obszarach dotyczących procesu digitalizacji:

1. Technologie przetwarzania obrazu cyfrowego,
2. Optyczne rozpoznawanie znaków (OCR),
3. Rozpoznawanie struktury strony i jej podział na części składowe,
4. Ekstrakcja metadanych,
5. Dodawanie możliwości wyszukiwania pełnotekstowego,
6. Systemy publikacji w sieci.

Każdy z powyższych elementów może być obsługiwany przez firmę komercyjną. W dalszej części można będzie dowiedzieć się więcej na temat wyników wspomnianej ankiety, prezentowanych przez Klijn w jego artykule. Należy jednak pamiętać, że Klijn był zainteresowany przede wszystkim digitalizacją czasopism, więc opisane rekomendacje nie mogą być uznane za uniwersalnie.

Obróbka obrazu cyfrowego

• Do digitalizacji czasopism zwykle stosuje się skanery płaskie A0 lub A1, niektóre z firm do digitalizacji czasopism stosują również wielkoformatowe skanery konstruowane na specjalnie zamówienie.
• Większość z ankietowanych dostawców jest zgodna, że skan o rozdzielczości 300 PPI jest wystarczający w przypadku egzemplarza wzorcowego (kopia MASTER) skanu czasopisma.
• Najczęściej rekomendowanym formatem plików jest nieskompresowany TIFF.
  • Oprócz formatu TIFF, ankietowane firmy używały również formatu JPEG (jakość 10) lub JPEG2000.
• Wśród ankietowanych nie ma zgody co do tego, czy do przetwarzania OCR jest lepszy obraz kolorowy, czy w skali szarości.
• "Często stosowane technologie przetwarzania obrazu oferują narzędzia do usuwania przekrzywienia, usuwania kurzu i rys, obracania, kadrowania, usuwania szumów, edycji białego tła i dzielenia obrazów". [źródło]
• Większość respondentów rekomendowała format JPEG, jako najbardziej odpowiedni do publikacji w sieci. Jako interesujący i powszechnie znany format wskazano również PDF.

Optyczne rozpoznawanie tekstu (OCR)

Ilustracja 13. Przykład zniekształcenia powstałego w trakcie skanowania, tego typu artefakty znacznie utrudniają poprawne rozpoznanie znaków. [źródło] Jak już wiadomo: "W celu dodania możliwości przeszukiwania treści czasopisma, obrazy cyfrowe muszą być przetworzone w tekst czytelny maszynowo". [źródło]

• Ankietowani używali zarówno oprogramowania komercyjnego, jak i darmowych pakietów, czasem stosowali dodatkowe zasoby językowe, takie jak leksykony, listy terminologiczne lub słowniki, w celu poprawy podstawowego OCR.
• Jakość wyników przetwarzania OCR w dużym stopniu zależy od stanu materiałów oryginalnych. Jeśli dane czasopismo jest zniszczone, wadliwie wydrukowane, lub złożone, z użyciem wielu różnych krojów czcionki, rezultaty rozpoznania OCR mogą być dalekie od ideału.
• Klijn w swoim artykule poczynił bardzo interesującą obserwację: "zwykle jakość tekstu po rozpoznaniu OCR mówi więcej o stanie materiałów oryginalnych, niż o jakości oprogramowania użytego do rozpoznawania tekstu". [źródło].
• Według ankietowanych, stopień dokładności rozpoznawania tekstu w projektach digitalizacji czasopism waha się od 99,8% dla 700 tysięcy stron czasopism (dokładność na poziomie słów, z poprawkami ręcznymi) do 68% (poprawność na poziomie znaków, bez poprawek) dla 350 tysięcy stron czasopism z początku XX w." [źródło].
• "Wskaźniki dokładności dla tekstów historycznych z książek lub dokumentów są zwykle wyższe niż te dla czasopism; nie jest to zaskoczeniem biorąc pod uwagę specyfikę czasopism" [źródło]. W czasopismach tekst jest podzielony na kolumny, bardzo często zawiera również zdjęcia i czcionki różnych rozmiarów.
• Ponieważ jakość "surowego" tekstu po rozpoznaniu (czasem nazywanego "brudnym" OCR-em) może być bardzo różna, niektórzy z dostawców sugerują, że wskazana jest ręczna korekta tych części na stronach czasopisma, które najpewniej zawierają ważne informacje, takie jak nagłówki lub pierwsze linijki akapitów [źródło].

Rozpoznawanie struktury strony

Rozpoznanie struktury strony ma na celu poprawienie jakości rezultatów otrzymanych z rozpoznania OCR. Ma to szczególne znaczenie w przypadku gazet, gdzie artykuły są ułożone w szpalty, dodatkowo przeplatane ilustracjami. Określenie granic poszczególnych elementów oraz odróżnienie tego co jest częścią danego artykułu (tekstem), a co ilustracją, może znacznie polepszyć wyniki przetwarzania OCR. Nowoczesne programy OCR potrafią taką analizę przeprowadzać samodzielnie; w wypadku stron o nietypowym układzie konieczne może być ręczne oznaczanie elementów strony. Jakość automatycznej analizy układu strony w bardzo dużym stopniu zależy od jednolitości układu określonego czasopisma, dlatego często wymagana jest tu kontrola człowieka. "Podział czasopisma na segmenty - na poziomie artykułów - może pochłaniać dużo czasu; przeciętna szybkość przetwarzania została oszacowana przez jednego z ankietowanych na 100 stron na godzinę. Przy tej szybkości, dzielenie na segmenty wszystkich 8 milionów stron czasopism z projektu Databank of Digital Daily wymagałoby 50 lat pracy jednej osoby! "[źródło] Poza poprawą jakości rozpoznanego tekstu, użytkownicy mogą uzyskać dostęp do poszczególnych artykułów np. z poziomu wyników wyszukiwania.

Ekstrakcja metadanych

Ekstrakcja metadanych ma na celu zautomatyzowane pozyskanie dodatkowych danych takich jak: liczba stron, daty publikacji, nagłówki, nazwy osobowe, nazwy miejscowości. Z powodu automatyzacji procesu, jakość rezultatów jest w dużym stopniu zależna od stopnia nieregularności układu strony.

Umożliwienie przeszukiwania tekstu i publikacji obiektu w sieci

Tekst czytelny dla komputerów uzyskany z programu OCR może w dużym stopniu poprawić jakość wyników wyszukiwania (w porównaniu do wyszukiwania tylko na podstawie opisu obiektu). W celu wykorzystania tych nowych możliwości, wymagane jest użycie odpowiednich narzędzi wyszukiwania. Zwykle możliwość wyszukiwania jest wbudowana w oprogramowanie do budowy bibliotek cyfrowych, jednak ten rodzaj oprogramowania wymaga odpowiedniego hostingu i pewnych umiejętności informatycznych w celu zapewnienia jego działania. Również tego rodzaju usługi mogą być przedmiotem outsourcingu.

Przechowywanie danych

Inną kwestią wzmiankowaną w artykule Edwina Klijn "The Current State-of-art in Newspaper Digitization. A Market Perspective" [źródło] jest przestrzeń dyskowa konieczna do przechowywania podstawowych kopii cyfrowych. Miejsce na twardym dysku zajmowane przez obraz w nieskompresowanym pliku TIFF w rozdzielczości 300 PPI nie robi wrażenia (ok. 26 MB), ale pomnożone przez ilość stron w czasopiśmie może przyjąć znaczące rozmiary. Jest wiele różnych rozwiązań przeznaczonych do zapewnienia właściwego przechowywania podstawowych kopii cyfrowych, do których należą płyty DVD, zewnętrzne dyski twarde i profesjonalne banki danych. Zawsze należy jednak pamiętać, że każdy nośnik ma swój okres eksploatacji i w celu zapewnienia długoterminowego dostępu wymagana jest regularna, okresowa migracja danych na nowe nośniki. Gdy korzysta się z profesjonalnych banków danych, płaci się po prostu roczną opłatę i nie trzeba się martwić migracją na nowe nośniki.

Analiza przypadku

Prezentowane analizy przypadków zostały wzięte z:

• Outsourcing - "Przypadek British Library" - "Handbook on Cost Reduction in Digitisation" Simona Tannera [źródło]

The British Library

Ilustracja 14. Strona internetowa Archival Sound Recordings. British Library zrealizowała dwa ważne projekty digitalizacji, które identyfikują dwie kluczowe kwestie w zakresie zlecania digitalizacji firmom zewnętrznym. Te projekty to:

1. Archival Sound Recordings (pol. Archiwum nagrań dżwiękowych) [strona internetowa] - serwis oferuje 12.000 nagrań, łącznie 3.900 godzin z unikalnych kolekcji.
2. British Newspapers 1800-1900 (pol. XIX wieczne gazety brytyjskie) [strona internetowa] - do 2 milionów stron, 1.000.000.000.000 słów z brytyjskich gazet z lat 1800-1900.

Oba projekty były realizowane przez firmy zewnętrzne, które wykonały dekodowanie nagrań audio i skanowanie gazet z mikrofilmów. Chociaż British Library posiada ogromne doświadczenie w realizacji takich projektów, a także odpowiednich ekspertów w tej dziedzinie, zdecydowano się zlecić digitalizację firmie zewnętrznej z uwagi na dużą ilość materiałów do digitalizacji, drogi sprzęt i krótki czas przeznaczony na wykonanie projektu. Outsourcing to także wyzwania, zwłaszcza na etapie przygotowywania zamówienia, ale w każdym z analizowanych przypadków British Library uzyskała znaczące korzyści dzięki zleceniu zewnętrznemu, które poza dużą produktywnością, wykazało się dobrym rachunkiem ekonomicznym. W przypadku projektu dotyczącego gazet, było to możliwe dzięki zewnętrznemu skanowaniu oraz optycznemu rozpoznawaniu pisma i częściowemu przepisywaniu tekstu. W przypadku projektu digitalizacji materiałów dźwiękowych, przetworzenie dużych ilości materiału przez wyspecjalizowanego dostawcę zewnętrznego pozwoliło British Library na skupienie się na tych trudnych kwestiach, w których pracownicy posiadają największe kompetencje oraz na sprawach związanych z prawami własności intelektualnej, wyborem materiałów i metadanymi opisowymi.

Podsumowanie

Oprócz tych wskazówek, blog JISC dotyczący cyfrowych mediów w artykule "To Outsource or to Digitise In-house?" [link] podaje 7 najważniejszych rzeczy, które trzeba rozważyć przy korzystaniu z zewnętrznych usług digitalizacji.

• Przygotowanie jasnych umów
  • Należy się upewnić, że instytucja zlecająca ma jasno określoną umowę z podwykonawcą. Ramy czasowe, koszty i oczekiwania powinny być jasno wyrażone. Nawet jeśli praca przy digitalizacji ma być zlecona organizacji, z którą wcześniej miało się dobre relacje, nie należy polegać tylko na tzw. "dżentelmeńskiej umowie".
• Wybór dostawcy usług na podstawie wcześniej wykonanych prac
  • W trakcie wyboru podwykonawcy należy poprosić o próbki wcześniej wykonanych prac i listę poprzednich klientów. Z niektórymi z nich należy się skontaktować i porozmawiać na temat ich doświadczeń. Należy pamiętać, że usługa najtańsza niekoniecznie oznacza najlepsze wykonanie; dlatego nie należy podejmować decyzji tylko na podstawie czynników finansowych lub czasowych.
• Podanie dokładnej specyfiki digitalizowanych obiektów
  • Jeśli zakres i rodzaj materiałów nie jest omawiany od samego początku, ostateczne koszty mogą się okazać znacznie wyższe niż przy wstępnych szacunkach. Na przykład skanowanie kolekcji fotografii o zbliżonych wymiarach może być łatwo przeprowadzone, podczas gdy fotografowanie przy wykorzystaniu aparatu cyfrowego lub fotografii o bardzo dużych formatach czy dzieł oprawionych już niekoniecznie.
• Rozważenie współpracy z innymi instytucjami
  • Często im więcej pracy zleca się na zewnątrz, tym niższa jest stawka. W niektórych okolicznościach warto współpracować z innymi organizacjami aby zwiększyć ilość materiałów do wysłania. Należy to jednak dokładnie zaplanować, a wszystkie strony muszą zgodzić się na wspólne standardy digitalizacji.
• Zapewnienie jakości
  • Należy zobaczyć próbne efekty digitalizacji nie czekając na zakończenie całej pracy; należy stworzyć procedury zapewnienia jakości i wygospodarować czas na skontrolowanie wykonanej pracy.
• Metadane
  • Nie należy zaniedbywać kwestii metadanych, szczególnie metadanych technicznych. Należy się zastanowić, czy ich tworzenie również chcemy zlecić podwykonawcy. Jeśli metadane dotyczące procesu digitalizacji nie są zapisywane w jego trakcie, późniejsze ich odtworzenie może być trudne. Można również rozważyć zlecenie na zewnątrz tworzenia innych rodzajów metadanych (np. transkrypcji tekstu).
• Rozważenie częściowego outsourcingu
  • Należy pamiętać, że outsourcing nie działa na zasadzie "wszystko albo nic". Można zlecić na zewnątrz jedynie część procesu digitalizacji lub wprowadzania metadanych. Często robi się tak w przypadku małych ilości szczególnie delikatnych materiałów.

 

Do czego służy DigitLab?