Wat is harvesten

Via deze website worden datasets aangeboden die een open datalicentie hebben. U kunt bladeren en zoeken naar datasets en deze downloaden door op de knop 'Download' te drukken. Het ophalen van een dataset gaat dan per stuk, dus één voor één.
Er is ook een andere methode om datasets te kunnen ophalen. In plaats van het downloaden via deze website, verstuurt u een opdracht naar een server middels het OAI-PMH protocol. Hierdoor is het mogelijk om meerdere datasets in bulk op te halen.
Dit proces wordt harvesten genoemd.
N.B. Voor het in bulk ophalen van deze datasets via harvesten is het aan te raden om uw eigen systeem zodanig in te richten dat deze datasets geautomatiseerd worden verwerkt.

Harvesten middels OAI-PMH

Om het proces van harvesten te standaardiseren is er een protocol opgesteld: Open Archives Initiative Protocol for Metadata Harvesting (OAI-PMH)
Dit protocol beschrijft een aantal eisen waar een aanbieder van datasets aan moet voldoen, zodat het ophalen van datasets op een uniforme manier kan worden gedaan. Op https://www.openarchives.org/pmh leest u meer over dit protocol en de beschikbare opdrachten.
Het harvesten van datasets die beschikbaar zijn op archieven.nl voldoet aan deze standaard.

Het adres waaraan OAI-PMH opdrachten kunnen worden gericht is: https://harvest.archieven.nl/OAI/OAIHandler