Recuperare info da arcade database

Tutti le informazioni sugli altri software finiscono qui!
Gothrek
Gamer
Gamer
Messaggi: 25
Iscritto il: 31/08/2017, 8:41
Reputation: 0

Re: Recuperare info da arcade database

Messaggio da Gothrek » 08/09/2017, 13:45

motoschifo ha scritto:
08/09/2017, 13:35
Dimenticavo: se vuoi vedere altre cose che si possono fare da client, prova a dare un'occhiata al tool che ho scritto per il sito.
Lo trovi nella pagina di download (ADB-Tools).
Sarà ampliato in tanti punti, non so quando ma nel giro di qualche anno dovrei arrivarci in fondo anche con la parte clean/merge set derivata da MameShrink ;)
Grande!! scarico subito con piacere.

Circa l'id allora provo a comporlo, lo scopo sarebbe che un utente che dop tanto tempo si vuole controllare la collezione possa in maniera rapida confrontare le info senza ricominciare da capo la scansione.

EDIT non trovo il parametro tra i dati recuperati.
a questo punto l'id lo farei set-nome. Nel file xml generato sarà chiaramente visibile che le info di quel record sono state fornite da... tipo:
<gameList>
<game id="189-alibaba" source="ArcadeDataBase">


Avatar utente
motoschifo
Arcader
Arcader
Messaggi: 439
Iscritto il: 08/12/2015, 9:55
Reputation: 165
Località: Parma
Nazione: Italy
Contatta:

Re: Recuperare info da arcade database

Messaggio da motoschifo » 08/09/2017, 14:21

Si, così può andare.
Però non ricordo se in output ho l'emulatore a cui faccio riferimento, nel caso va aggiunto. Sarà qualcosa tipo emulator_id con il numero interno (id chiave) ed emulator_name con il nome completo (es. Mame 0.189).
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Tempest ›Arkanoid
Flipper ›HighSpeed Wishlist ›DoctorWho ›MedievalMadness ›HighSpeed2 WebArcadeDatabase


Avatar utente
motoschifo
Arcader
Arcader
Messaggi: 439
Iscritto il: 08/12/2015, 9:55
Reputation: 165
Località: Parma
Nazione: Italy
Contatta:

Re: Recuperare info da arcade database

Messaggio da motoschifo » 08/09/2017, 20:50

Fatto, ora ci sono emulator_id ed emulator_name.
Il primo è il riferimento all'emulatore, il secondo è descrittivo e contiene il nome, la release e la data di rilascio.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Tempest ›Arkanoid
Flipper ›HighSpeed Wishlist ›DoctorWho ›MedievalMadness ›HighSpeed2 WebArcadeDatabase


Gothrek
Gamer
Gamer
Messaggi: 25
Iscritto il: 31/08/2017, 8:41
Reputation: 0

Re: Recuperare info da arcade database

Messaggio da Gothrek » 08/09/2017, 22:18

motoschifo ha scritto:
08/09/2017, 20:50
Fatto, ora ci sono emulator_id ed emulator_name.
Il primo è il riferimento all'emulatore, il secondo è descrittivo e contiene il nome, la release e la data di rilascio.
mitico!!! grazie ora posso implementare l'id.


Gothrek
Gamer
Gamer
Messaggi: 25
Iscritto il: 31/08/2017, 8:41
Reputation: 0

Re: Recuperare info da arcade database

Messaggio da Gothrek » 10/09/2017, 18:12

motoschifo ha scritto:
08/09/2017, 20:50
Fatto, ora ci sono emulator_id ed emulator_name.
Il primo è il riferimento all'emulatore, il secondo è descrittivo e contiene il nome, la release e la data di rilascio.
Ciao Motoschifo,
Volevo condividere con te questa cosa.

MI sto basando per una prima release sulla creazione del file gamelist.xml per recalbox (poi tanto per tutti gli altri sono piccole e semplici modifiche).
XML che si macina recalbox ha questi campi che io ho associato a quelli della tua risposta alla query (tra parentesi e tra <> il parametro da te fornito):
game id = (<emulator_id>_ <game_name>)
source = "arcade database"
path = "./<game_name>.zip"
name = <title>
desc = <history>
image = "./<url_image_title>/<game_name>.png"
rating = qui mi devi aiutare, non ho la info nel risultato della tua query, se puoi pubblicarla per favore
releasedate = <year>0101T000000 (vuole la data completa con l'ora)
developer = <manufacturer>
publisher = non ho trovato info e non so se sono presenti
genre = <genre>
players = <players>
region = qu ivorrei mettere la lingua ma non la ho vista pubblicata

Grazie e buona serata.


Avatar utente
motoschifo
Arcader
Arcader
Messaggi: 439
Iscritto il: 08/12/2015, 9:55
Reputation: 165
Località: Parma
Nazione: Italy
Contatta:

Re: Recuperare info da arcade database

Messaggio da motoschifo » 11/09/2017, 9:51

Non conosco Recalbox, nel caso potrei aggiungerlo ai formati di esportazione disponibili sul sito.

game_id = sembra ok, è un id univoco al front-end per comunicare con il "source" selezionato giusto?
desc = aggiungi anche le info di copyright mi raccomando (long o short)
image = url_image_title non è sufficiente per avere l'immagine? A cosa serve aggiungere game_name?
release date = attenzione che l'anno è testuale, quindi qualche titolo avrà problemi di conversione (tipo "19??")
rating = ci sono diversi rating sul sito, alltime, bestgames, quello medio, il tuo personale e presti altri
publisher = non esiste nel Mame
region = la lingua è multi-valore, cioè indica tutte le lingue selezionabili anche tramite dip-switch

Posso integrare qualcosina comunque.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Tempest ›Arkanoid
Flipper ›HighSpeed Wishlist ›DoctorWho ›MedievalMadness ›HighSpeed2 WebArcadeDatabase


Avatar utente
motoschifo
Arcader
Arcader
Messaggi: 439
Iscritto il: 08/12/2015, 9:55
Reputation: 165
Località: Parma
Nazione: Italy
Contatta:

Re: Recuperare info da arcade database

Messaggio da motoschifo » 11/09/2017, 11:04

A proposito, se mi mandi qualche specifica per il file gamelist.xml da generare per Recalbox mi fa un favore, dato che sul sito/forum non ci ho trovato nulla. E' molto dispersivo, fatico anche a fare le ricerche perchè entrano tutte le lingue ed ogni volta devo selezionare solo internazionale.
Così poi lo confronti con quello che crei tu e magari offriamo un servizio utile per qualcuno [wink.gif]
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Tempest ›Arkanoid
Flipper ›HighSpeed Wishlist ›DoctorWho ›MedievalMadness ›HighSpeed2 WebArcadeDatabase


Gothrek
Gamer
Gamer
Messaggi: 25
Iscritto il: 31/08/2017, 8:41
Reputation: 0

Re: Recuperare info da arcade database

Messaggio da Gothrek » 11/09/2017, 11:13

motoschifo ha scritto:
11/09/2017, 11:04
A proposito, se mi mandi qualche specifica per il file gamelist.xml da generare per Recalbox mi fa un favore, dato che sul sito/forum non ci ho trovato nulla. E' molto dispersivo, fatico anche a fare le ricerche perchè entrano tutte le lingue ed ogni volta devo selezionare solo internazionale.
Così poi lo confronti con quello che crei tu e magari offriamo un servizio utile per qualcuno [wink.gif]
ciao,
questo il link delle specifiche:
https://github.com/recalbox/recalbox-em ... MELISTS.md

circa le altre info, come rating, possiamo sceglierne uno, magari quello medio?
circa la lingua puoi passarlo nella risposta insieme al valore del rating?
per gli altri ok.


Avatar utente
motoschifo
Arcader
Arcader
Messaggi: 439
Iscritto il: 08/12/2015, 9:55
Reputation: 165
Località: Parma
Nazione: Italy
Contatta:

Re: Recuperare info da arcade database

Messaggio da motoschifo » 11/09/2017, 11:54

Il voto del sito è poco usato, magari meglio appoggiarsi ad Antopisa (bestgames.ini) oppure a mameinfo (alltime.ini) adattando i valori al range 0-1.
La lingua sarà multivalore.
Ti farò sapere quando ci metterò mano.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Tempest ›Arkanoid
Flipper ›HighSpeed Wishlist ›DoctorWho ›MedievalMadness ›HighSpeed2 WebArcadeDatabase


Gothrek
Gamer
Gamer
Messaggi: 25
Iscritto il: 31/08/2017, 8:41
Reputation: 0

Re: Recuperare info da arcade database

Messaggio da Gothrek » 11/09/2017, 13:01

ok, per il voto, quello che per tua esperienza sia più significativo.
bene anche per la lingua


Avatar utente
motoschifo
Arcader
Arcader
Messaggi: 439
Iscritto il: 08/12/2015, 9:55
Reputation: 165
Località: Parma
Nazione: Italy
Contatta:

Re: Recuperare info da arcade database

Messaggio da motoschifo » 11/09/2017, 19:11

Ho aggiornato ora con i due campi nuovi "rate" e "languages" (indipendente dalla lingua impostata).
Il voto è un numero intero che va da 0 (voto non assegnato) a 100 (massimo) con step di una unità, ed è una media dei voti sul sito. Non sono tanti i giochi che lo hanno, ma forse in futuro sarà utilizzato di più.
Altri tipi di ranking ho visto che sono molto soggettivi e spesso non hanno una dicitura precisa, comunque è un'indicazione.

Per la lingua, se presenti più voci, le troverai separate da virgola.
Es. per gtmr è "English, German, Italian", vuol dire che il gioco può cambiare lingua in base a dip-switch o selezione da menu. Non c'è un ordine di apparizione, quindi come region è un po' fuorviante ma potrebbe essere usato per filtrare i titoli in italiano (per es. se esiste "Italian").
I valori sono quelli del languages.ini preso da ProgettoSnaps e tutti in inglese. Per adesso ci sono questi:

Codice: Seleziona tutto

Brazilian Portuguese
Chinese
Croatian
Dutch
English
French
German
Greek
Hungarian
Italian
Japanese
Korean
Polish
Russian
Slovak
Spanish
Swedish
Czech
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Tempest ›Arkanoid
Flipper ›HighSpeed Wishlist ›DoctorWho ›MedievalMadness ›HighSpeed2 WebArcadeDatabase


Gothrek
Gamer
Gamer
Messaggi: 25
Iscritto il: 31/08/2017, 8:41
Reputation: 0

Re: Recuperare info da arcade database

Messaggio da Gothrek » 11/09/2017, 19:46

perfetto, la versione nella repository già crea il file xml per recalbox e tutto il resto, lo implemento con queste 2 info.

Devo essere sincero, non mi sarei mai aspettato una grandissima colalborazione come hai fatto tu, grandi complimenti!!!

come sempre tengo aggiornato il forum, se qualcuno ha domande, son qui.


Avatar utente
bisus
Arcade Maniac
Arcade Maniac
Messaggi: 2943
Iscritto il: 03/11/2015, 2:16
Reputation: 487
Località: Firenze
Contatta:

Re: Recuperare info da arcade database

Messaggio da bisus » 11/09/2017, 20:14

Motoschifo e' un grande e condivide con tutti noi il suo sapere in tutti i campi di sua competenza, veramente ammirevole
Segnalazioni problemi Forum
Non esitate a contattarmi in privato se doveste avere problemi sul forum http://www.arcademania.eu
grazie


Avatar utente
motoschifo
Arcader
Arcader
Messaggi: 439
Iscritto il: 08/12/2015, 9:55
Reputation: 165
Località: Parma
Nazione: Italy
Contatta:

Re: Recuperare info da arcade database

Messaggio da motoschifo » 11/09/2017, 20:51

Più siamo a fare le cose e meglio è per tutti [up.gif]
Anzi i miglioramenti arrivano dalla condivisione, non dalla chiusura. Per es. nella pagina service_scraper, se richiamata senza parametri, metterò tutte queste info che mi serviranno anche come documentazione (italiano ed inglese).
E' un po' che sto mettendo giù il testo ma ci vuole tanto tempo.... ci metto meno a fare le modifiche al codice, lì ormai vado in automatico e mi piace pure [gelato.gif]

Per es. ancora non esiste nulla come scraper software (la parte ex-Mess). La mia idea è creare una tabella con le corrispondenze tra nome Mame e nome file, ma è un lavoro in salita.
Inoltre io non gioco quasi mai quindi tanti emulatori non li conosco, ma se qualcuno mi facesse quella tabellina io potrei poi usarla come base.

Ci sono tanti mini-progetti che ho ancora scritti sulla carta, e a distanza di 2 anni dalla partenza (circa 3 dall'inizio lavori), il sito è tutt'altro che completo. Grossomodo siamo ad un terzo delle funzionalità... e ci lavoro continuamente... tolte le 10 ore in ufficio e le poche di sonno [sleep.gif]
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Tempest ›Arkanoid
Flipper ›HighSpeed Wishlist ›DoctorWho ›MedievalMadness ›HighSpeed2 WebArcadeDatabase


Gothrek
Gamer
Gamer
Messaggi: 25
Iscritto il: 31/08/2017, 8:41
Reputation: 0

Re: Recuperare info da arcade database

Messaggio da Gothrek » 11/09/2017, 22:01

spiega di più sulle tue idee/progetti, partecipo e aiuto volentieri in quel che posso.

soprattutto per la parte scraper software, magari ha a che vedere in parte con quello che stiamo facendo in questo thread.


Avatar utente
motoschifo
Arcader
Arcader
Messaggi: 439
Iscritto il: 08/12/2015, 9:55
Reputation: 165
Località: Parma
Nazione: Italy
Contatta:

Re: Recuperare info da arcade database

Messaggio da motoschifo » 11/09/2017, 22:30

E' troppo presto, non riesco nemmeno a concludere quello che ho iniziato (in tempi brevi...)

Sulla parte di scraper, posso allestire la stessa cosa ma lato SOFTWARE, ovvero nes, c64, neogeo, pcengine, amstrad, ibm pc, ecc.
Il problema è che le liste sono limitate e diverse da altri emulatori (es. i nomi nes sono tutti diversi rispetto a quelli Mame).
Al primo aspetto non posso porre rimedio perchè dovrei aprire a tutti i giochi custom/hack (il sito è stato pensato per poterlo fare, ma per adesso non ce la faccio ed oltretutto avrei migliaia di video già pronti per quei giochi... tutti dell'infaticabile adolfo69).
Invece per il nome avevo pensato ad una tabella di aggancio, ma andrebbe aggiornata ad ogni release o quantomeno gestita da qualcuno che poi gioca o segue queste cose.

Invento un esempio ora, magari i nomi non sono esatti.
Gioco megaman per nes su Mame: nes/megaman
Stesso gioco per altro emulatore: megaman (r) [!][usa].prg

Poi si scopre che il crc è lo stesso, la dimensione pure, ecc.
A questo punto potrei leggere l'xml software e creare una tabella di trascodifica tra vari crc/sha1 ed il gioco/console in esame, quindi in input potrei avere diversi campi:
- software list + gioco (identifica univocamente il gioco)
- sistema + gioco (molto più lento, richiede la lettura di tutte le lista supportate da quel sistema)
- crc/sha1 + sistema (rapida, al netto delle collisioni ma includendo il sistema non dovrei averne)

In questo modo avrei una fonte valida per circa 70 mila snapshot, 40 mila title, 4000 video, 13 mila cover e 2000 manuali, sparsi tra le varie console.
E se non si trova un aggancio, va previsto un formato della rom con la corrispondenza del titolo.

Ma ci vuole tempo per capire se il collegamento è univoco e se la cosa funziona, perchè poi la tabella dei crc/sha1 va mentenuta e costa tempo/gestione/spazio database per centinaia di migliaia di dati (più file per singolo gioco, ci sono 120 mila titoli nella parte software).
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Tempest ›Arkanoid
Flipper ›HighSpeed Wishlist ›DoctorWho ›MedievalMadness ›HighSpeed2 WebArcadeDatabase


Gothrek
Gamer
Gamer
Messaggi: 25
Iscritto il: 31/08/2017, 8:41
Reputation: 0

Re: Recuperare info da arcade database

Messaggio da Gothrek » 12/09/2017, 13:08

i database con le info sui nomi file e i crc sono pubblici e a proprio uso (tanti programmi li usano già) e sono pubblicati su dat-o-matic
http://datomatic.no-intro.org/index.php?

con quei dat poi puoi decidere ti fare i controlli che preferisci.

Io ad esempio per i vari sistemi prendo i no-intro per togliermi tutti i cloni.
Programmi come clrpromame usano quei dat per verificare le proprie liste o per crearne di proprie e in automatico fanno il controllo dei crc e dei nomi segnalandoteli e/o volendo modificandoteli.

dat-o-matic è aggiornato quotidianamente in termini di elenchi.


Gothrek
Gamer
Gamer
Messaggi: 25
Iscritto il: 31/08/2017, 8:41
Reputation: 0

Re: Recuperare info da arcade database

Messaggio da Gothrek » 12/09/2017, 14:13

Motoschifo, forse sono io o qualcosa è cambiato, nella risposta alla query mi ritrovo dei valori numerici, prima erano stringa? tipo il codice emulatore, i players e ora anche il rating che hai aggiunto.

E' troppo chiedere di lasciarli stringa? altrimenti mi attrezzo in maniera diversa, ma rallenta il processo.
Se poi posso proprio sbilanciarmi nelle richieste, preferirei che gli ultimi 4 dati fossero:
languages
rate
emulator_id
emulator_name

Questo perchè la miglior e veloce soluzione che ho trovato nell'interpretazione dei risultati della tua query è splittarla per ",
e quindi l'ultimo campo lui recupera tutti i caratteri, sporcandone il risultato, ma non usandolo va bene cosi, mentre per i campi ora numerici non trova più i caratteri di fine dato (solo la virgola non basta essendo presente anche all'interno dell'history).

Grazie


Avatar utente
motoschifo
Arcader
Arcader
Messaggi: 439
Iscritto il: 08/12/2015, 9:55
Reputation: 165
Località: Parma
Nazione: Italy
Contatta:

Re: Recuperare info da arcade database

Messaggio da motoschifo » 12/09/2017, 15:16

Si, li ho cambiati proprio ieri perchè quei valori sono in realtà numeri e non testuali.
Era un errore prima, non ci avevo fatto caso a dire il vero.
Splittare per doppi apici è sbagliato perchè ci possono essere casi in cui quel carattere viene usato all'interno del testo, ma più semplicemente perchè json prevede un parser specifico che serve anche per capire se i dati sono corretti.
Inoltre, un eventuale aggiunta in futuro avrebbe problemi perchè dovrei in quel modo mantenere i campi sempre in ultima posizione, come in effetti hai chiesto proprio adesso.

Dubito che lo split sia più veloce e sicuro di un json_decode (o simile), proprio per i motivi descritti sopra.
Se poi domani aggiungo un array di array (campi che oggi non ho ma è per fare un esempio), allora saresti di nuovo nei guai... e comunque l'ordine non deve essere importante.

Stasera controllo cosa utilizzo io, credo questa libreria:
https://www.newtonsoft.com/json/help/ht ... ngJSON.htm

Hai provato a fare in quel modo?
Se ho tempo scarico il sorgente e provo anche io.
Motoschifo
CAB ›MameOriz ›MameVert ›PCB ›NeoGeo ›TopDrive ›Tekken3 Wishlist ›PacMan ›Tempest ›Arkanoid
Flipper ›HighSpeed Wishlist ›DoctorWho ›MedievalMadness ›HighSpeed2 WebArcadeDatabase


Gothrek
Gamer
Gamer
Messaggi: 25
Iscritto il: 31/08/2017, 8:41
Reputation: 0

Re: Recuperare info da arcade database

Messaggio da Gothrek » 12/09/2017, 18:04

io splittavo per apicevirgola piu che doppioapice, cosi non avevo bisogno di definire nessun record, però ok.

mi scarico la libreria e la implemento e ti aggiorno.

grazie.


Rispondi

Chi c’è in linea

Visitano il forum: Nessuno e 1 ospite