Методология

Как се строи един dataset

Всеки набор от данни в RobotsDataset е една ниша на едно място — зъболекари в София, цени в българските вериги — събрана от AI агенти от публични първични източници и сервирана така, че всяка стойност да може да се провери.

1. Само първични публични източници

Регистри и отворени данни (напр. ежедневните подавания на веригите към КЗП), собствените сайтове на бизнесите и Google Places само за place_id. Спазваме robots.txt и лимит на заявки за всеки домейн; не влизаме зад логин; никога не складираме текст на отзиви. Кой източник е разрешен решава политика преди всяка заявка.

2. Първо снимка, после извличане

Суровото съдържание на всяка страница се записва с хеш, преди да бъде прочетено. Извличането работи върху снимката, не върху живия сайт — така една стойност може да се извлече отново, години по-късно, от същото доказателство. Ако хешът не се е променил, нищо не се извлича наново.

3. Извличане и валидация

Детерминистични парсери, където е възможно; езиков модел само за неструктурирани страници и само когато съдържанието се е променило. Изходът се валидира срещу JSON Schema на набора; невалидна стойност отива в опашка за преглед, не в базата.

4. Произход на всяка стойност

Няма стойност без source_url, observed_at, confidence и версия на екстрактора. Историята е битемпорална (valid_from / valid_to): може да се попита каква е била цената на дадена дата. Всяка страница на запис показва източника и датата до всяка стойност.

5. Свежест

Всеки атрибут има срок на свежест; /v1/{dataset}/status показва медианната възраст на данните, а changelog — какво се е променило. Идемпотентни задачи: едно и също събиране може да се пусне два пъти без дублиране.

6. Какво не правим

Лични данни отвъд професионалните — имена на лекари и собственици само както са публикувани професионално.
Текст на отзиви, нито оценки, препубликувани като наши.
Скрити промени: DELETE /v1/optout и формата за корекция работят от първия ден.

Проверете сами

Отворете произволен запис и следвайте линка към източника до стойността. Ако нещо не съвпада, пишете на webmaster@robotsdataset.com — грешките с произход се поправят от източника, не на ръка.

Как да цитирате данните: /cite. Лиценз: /legal/license.