Já viu o Anubis?
https://xeiaso.net/blog/2025/anubis/
É um projeto OSS que começou como um side-project mas acabou ganhando bastante popularidade (https://xeiaso.net/notes/2025/anubis-works/)
https://xeiaso.net/blog/2025/anubis/
É um projeto OSS que começou como um side-project mas acabou ganhando bastante popularidade (https://xeiaso.net/notes/2025/anubis-works/)
Comments
> You can configure bot policy definitions to explicitly allowlist them and we are working on a curated set of "known good" bots to allow for a compromise between discoverability and uptime.