[Closed Source] blogminer - agregador de blogs - Projectos Descontinuados - Portugal-a-Programar
[Closed Source] blogminer - agregador de blogs
Por pedrotuga, 12 de Outubro de 2006 em Projectos Descontinuados
Pessoal... fiz os primeiros testes numa versão online e... :shocking: wow! funcionou 100% como eu tinha idealizado.
Um arquivo de posts em blogs de musica. De momento o arquivo está disponivel para toda a gente em formato de fórum... mais de 1600 albuns e 40 novos albuns por dia.
O arquivo ( em formato de fórum ) só estará disponível para membros vip. Para ser membro vip é só efectuar o registo no fórum. Os primeiros a registarem-se ficam com conta vip.
Futuramente será possivel pesquisar neste arquivo através do site principal do shareminer.com e clicar no link que ligará ao post original no blog onde foi afixado. O arquivo em formato de fórum estará ficará então disponível só para membros VIP.
um pouco confuso eu sei.
Anyway.. podem registar-se... os fóruns ainda nem estão prontos, mas serão fóruns sobre tecnicas avançadas de pesquisa, indexação e SEO.
BTW... se conhecerem blogs de musica... força nisso.. .
http://www.shareminer.com/forum
podem sugerir blogs na thread indicada. Usei a API do blogger, pelo que teóricamente todos os blogs que usam esta api deviam funcionar... na prática não é bem assim. Assim sendo, e por razões de segurança, só estou a adicionar blogs alojados no blogger ( blogspot ) e no wordpress.com
e onde é que está o link para isto ?
não entendi grande coisa mas parece ser bom .
já tem quase 2000 albuns
A ideia foi totalmente tua? Se foi Parabéns!
Só tenho dúvidas quanto a questões legais, ...
Parabens pela ideia e pelo projecto.
Tirando o facto de gerar uma password automatica que tenho que ir ao e-mail ver antes de fazer log-in que detesto !
Está muito boa a idei !
Quanto a questões legais estou como o José Oliveira, quer-me passer que isto é tudo menos legal !
eles indicam la as fontes, por isso...
Bom, eu acho que a ideia é das melhores que tenho visto por cá ultimamente (com todo o respeito ás outras).
Muito bom projecto mesmo!
Pessoal, obrigado aí pelas opiniões e boas vibrações :cheers:
Sim, a ideia, concepção e implementação são totalmente minhas.
Quanto a questões legais... tambem acho que isto não é legal, mas o problema tem solução e tudo está previsto desde inicio.
A solução é a seguinte: este arquivo só estará disponível para amigos. Razão pela qual apenas divulguei isto no portugal-a-programar e no skafunkrastapunk, que são dois sítios de confiança. Se quiserem ter acesso ao arquivo para sempre é só registarem-se o mais rápido possivel de forma a ficarem com o título de membro VIP.
Daqui por uns diazitos ( ainda n decidi quantos ) o fórum conterá secções sobre outros assuntos ficando o arquivo inacessível para a generalidade dos utilizadores. Desta forma penso que não há problemas com a legalidade pois o arquivo não será publico.
O futuro deste projecto será um motor de busca com base de dados própria e spiders-scripts próprios e especializados que já estou a implementar. terá assim um aspecto tipo google e, como este, apenas apresentará links para outras páginas. Resumindo e complicando, uma especie de google simplificado e especializado para encontrar musica.
E o bootpost faz a busca automática e coloca o post em seguida ?
o postbot vai a base de dados de blogs, verifica se foram actualizados e, se tiverem sido, afixa os novos posts.
pedrotuga parabéns! Já agora, para além de músicas estás a pensar em incluir algo mais?
Jogos, filmes, etc?
epa... já pensei nisso mas não se se existem por aí blogs suficientes para isso. Se houver não há problema absolutamente nenhum em se fazer isso.
De jogos há N de páginas carregadas de spyware e tirando a parte de os jogos virem em 20 ou 30 .rar acho que era uma boa ideia, assim tinhamos os links sem ter que ir a página e correndo riscos de apanhar algum software manhoso.
dêm aí umas páginas para eu ver do que estão a falar
finalmente uma versão experimental daquilo que vai ser a pesquisa directa.
updates de hora a hora
http://music.shareminer.com
a funcar mt bem, so falta mesmo fazer os updates a bd...
os updates já estao automatizados diariamente, no entanto ainda não pus as keywords todas que o pessoal pos no tópico das 10 bandas... vou esperar até ter uma lista maior.
Já agora obrigado pelas contribuições
Podia era ter mais musica electronica !
A musica electrónica existe numa distribuição diferente. Isto é, este fenómeno dos blogs de mp3 não cobre muito esse tipo de música, o que diga-se de passagam até é um contra-senso, já que a musica electronica existe por aí aos molhos em sets gravados ao vivo e de distribuição 100% legal.
Anyway, fiz 3 bots para andar por aí a vasculhar música, um usa uma base de dados de blogs, outro recorre às keywords que ando a tentar collecionar, o outro, é completamente independente dos conteudos. Assim sendo, o facto do music.shareminer.com não ter indexado muita musica electronica prende-se com o facto de simplesmente não haver muita por aí.
Gostei muito do projecto!
E se me premites a curiosidade!
Podias explicar exactamente como funciona o motor de busca?
Pa.. como qualquer outro. Inseres o que queres procurar e clicas no botao. Lol....
Ok.... provavelmente queres saber como indexo todos aqueles links. Epa... lamento, n posso dizer, está no segredo dos deuses. No entanto, posso dizer-te: os bots de indexação foram idealizados e escritos por mim, não utilizo nenhum software que se encontre por aí.
So quero saber so mais uma coisa!
Os bots são escritos em que linguagens? São paginas activas em PHP a rodar infinitamente no servidor, ou são executaveis que rodam infinitamente??
Estão escritos em php, a minha linguagem preferida, não são paginas web. O php é uma linguagem de programação multi-purpose. São scripts que são exectuados periodicamente através de crontabs e armazenam os links numa base de dados. Tão simples quanto isso. Claro que, por razões de segurança os scripts não estao guardados numa directoria acessível pelo apache para não poderem ser activados por um pedido remoto.
Já agora aqui fica uma sugestao para quem se quiser aventurar neste tipo de programação. O php pode ser usado para outro tipo de programas que não páginas web. Explorem o CLI do php, usem-no como um substituto do shell-script pois é muito mais facil de usar. Compilem-no para ter mais performance, etc etc...