Olisiko kenelläkään vinkkiä tai mallia siitä, millainen robots.txt-tiedoston sisällön kannattaisi olla, jos haluaa kieltää tiedonkeruun tekoälykoulutukseen mutta toivoisi sivuston silti olevan hakukoneiden löydettävissä? Tiedän, ettei kielto välttämättä käytännössä auta paljoa, mutta kai sellainen ainakin muodon vuoksi olisi hyvä olla.
Muistelisin jossain vaiheessa lukeneeni, että jok'ikiseltä olemassa olevalta tekoälykoulutusdatan haravointibotilta pitäisi kieltää sivun tietojen keruu erikseen. Joten ehkä parempi lähestymistapa on oletuksena kieltää pääsy kaikilta boteilta, ja poikkeuksena sallia vain tietyille valituille. Mutta mille? 🤔
Kiri
npub1al…l03p4
2025-10-30 12:14:37 UTC
Author Public Key
npub1alug2yhv7vvllzqhva7gv6u7a574n56ztd7mmfdjhhq2c2c00u4qrl03p4Seen on
wss://relay.momostr.pinkPublished at
2025-10-30 12:14:37 UTCEvent JSON
{
"id": "5202dc077ea3d7c030cbb6e962a51683935e85623b5ba68fe0e54933847beed3",
"pubkey": "eff88512ecf319ff8817677c866b9eed3d59d3425b7dbda5b2bdc0ac2b0f7f2a",
"created_at": 1761826477,
"kind": 1,
"tags": [
[
"proxy",
"https://mementomori.social/@rantanurmikka/115463060038138350",
"web"
],
[
"proxy",
"https://mementomori.social/users/rantanurmikka/statuses/115463060038138350",
"activitypub"
],
[
"L",
"pink.momostr"
],
[
"l",
"pink.momostr.activitypub:https://mementomori.social/users/rantanurmikka/statuses/115463060038138350",
"pink.momostr"
],
[
"-"
]
],
"content": "Olisiko kenelläkään vinkkiä tai mallia siitä, millainen robots.txt-tiedoston sisällön kannattaisi olla, jos haluaa kieltää tiedonkeruun tekoälykoulutukseen mutta toivoisi sivuston silti olevan hakukoneiden löydettävissä? Tiedän, ettei kielto välttämättä käytännössä auta paljoa, mutta kai sellainen ainakin muodon vuoksi olisi hyvä olla.\n\nMuistelisin jossain vaiheessa lukeneeni, että jok'ikiseltä olemassa olevalta tekoälykoulutusdatan haravointibotilta pitäisi kieltää sivun tietojen keruu erikseen. Joten ehkä parempi lähestymistapa on oletuksena kieltää pääsy kaikilta boteilta, ja poikkeuksena sallia vain tietyille valituille. Mutta mille? 🤔",
"sig": "daf093a1a5531bdeff134a015e3a8da7e9a2bcc5e8f5c28fd6e192dbf705381878780109d84f56d706ff1256f492df29c95017c0f10576946135c97fbc966688"
}