Website Crawler

Administrer datakilder → Website Crawler

Website Crawler er et kraftfuldt værktøj i Promte, som gør det muligt at tilføje en omfattende mængde af indhold fra din hjemmeside direkte ind i din chatbot. Dette værktøj crawler gennem din hjemmeside, analyserer indholdet på hver side, og gør det tilgængeligt for din AI-chatbot, så den kan generere mere præcise og relevante svar baseret på dit website's indhold.

Sådan tilføjer du din hjemmeside som en datakilde

For at bruge Website Crawler som en datakilde, følg disse trin:

Log ind på Promte og naviger til Training.
Vælg Website.
Indtast den start URL, du ønsker at crawle fra, typisk din hjemmesides forside.

Du kan vælge mellem at benytte Fast eller Slow scraperen:

Fast fungerer hurtigst og kan indlæse mange sider, men hvis hjemmesiderne, der indlæses f.eks. benytter Javascript, kan Fast scraperen i visse tilfælde ikke indlæse teksten.
Slow er bedre til at indlæse Javascript, og fungerer derfor på de fleste sider. Til gengæld er den væsentligt langsommere end Fast.

Initier crawling-processen ved at bekræfte dit valg. Promte vil nu automatisk begynde at crawle din hjemmeside og analysere indholdet på alle tilgængelige undersider.

Afhængig af hvor mange undersider, der er på siden, som indlæses, kan det tage lang tid at scrape en hjemmeside. Små hjemmesider kan indlæses på under 1 minut, mens større hjemmesider godt kan tage 20+ minutter at indlæse.

Vælg specifikke sider

Efter crawling-processen kan du gennemgå de indsamlede sider og vælge specifikt hvilke undersider, der skal indgå som datakilder for din chatbot. Dette trin er afgørende for at sikre, at kun relevant og opdateret indhold anvendes til at generere svar. Hvis en undersider bliver fravalgt på dette trin, vil denne underside blive ignoreret næste gang den samme hjemmeside indlæses.

Overvejelser og bedste praksisser

Vælg relevante sider: Ikke alt indhold på din hjemmeside kan være relevant for din chatbot. Vælg derfor kun de sider, der bidrager til at forbedre chatbottens evne til at levere præcise svar.
Opdater regelmæssigt: Hjemmesider opdateres løbende med nyt indhold. Overvej regelmæssigt at crawle din hjemmeside igen for at holde chatbottens datakilder ajour.
Blokering af crawling: Hvis din hjemmeside blokerer for crawling, eller hvis du oplever problemer med at indlæse indholdet, kan Promte tilbyde specifikke integrationer. Kontakt Promte for at aftale en løsning.

Sæt crawleren til automatisk at synkronisere hjememsiden

Hvis det er en del af din prispakke, kan du sætte Website Crawleren op til automatisk at synkronisere opdateringer fra hjemmesiden i bestemte tidsintervaller (dagligt, ugentlig eller månedligt). Du kan se, hvordan det sættes op her:

Hvis du vælger at slå Auto train til, vil website crawleren ikke bare automatisk synkronisere hjemmesiden, men også automatisk træne chatbotten, så ændringerne slår igennem på chatbotten, så snart ændringerne er synkroniseret. Hvis Auto train er slået fra, vil crawleren automatisk hente opdateringerne fra hjemmesiden, men du skal selv manuelt træne chatbotten igen, for at få ændringerne til at slå igennem.

Kontakt Promte for support

Hvis du støder på udfordringer med at bruge Website Crawler, eller hvis din hjemmeside blokerer for crawling, står Promte klar til at hjælpe. Kontakt os på contact@Promte.io for at diskutere mulighederne for specifikke integrationer eller for yderligere support til at få mest muligt ud af Website Crawler.