Tekoälypohjainen optinen nuotintunnistus

Muunna PDF, skannaus tai valokuva täysin muokattavaksi nuotiksi.

Opuscanin tekoälypohjainen optinen nuotintunnistus (OMR) lukee sivulle painetun musiikin ja rakentaa sen uudelleen oikeaksi nuotinnukseksi, jota voit soittaa, transponoida, sovittaa ja viedä MusicXML- tai MIDI-muotoon. Sinä tuot nuotit. Tekoäly tekee kirjoitustyön.

Painettu sivu Mozartin ensimmäisestä jousikvartetosta, skannattu alkuperäisestä kaiverruksesta.

Painettu sivu

  • .musicxml
  • .midi
Sama kvartetto Opuscanin siistinä, täysin muokattavana nuottina uudelleen rakentamana.

Muokattava nuotti

Tutteon oman tekoälymallin voimin

Tekoälypohjainen tunnistus, jonka rakennamme, koulutamme ja parannamme itse.

Jokainen PDF ja valokuva käsitellään Tutteon omalla, talon sisällä kehitetyllä syväoppimismallilla, ei kolmannen osapuolen moottorilla. Se ei vain tunnista symboleja, vaan lukee ne musiikillisessa kontekstissa koulutetun muusikon tavoin, joten sen uudelleen rakentama nuotti käy myös musiikillisesti järkeen.

  • Lukee rytmin, sävelkorkeuden ja asettelun yhdessä ja asiayhteydessään, ei symboli kerrallaan
  • Erottaa soittimet ja äänet toisistaan sekä liittää sanoitukset, sointumerkit ja tekstin oikeisiin nuotteihin
  • Rakennettu kokonaan omana työnä alusta loppuun, joten se paranee mitattavasti jokaisen julkaisun myötä

Näin se toimii

  1. Tuo nuottisiTuo tietokoneeltasi PDF tai kuva, tai ota kuva suoraan Opuscan-mobiilisovelluksessa.
  2. Opuscan lukee sivunSe skannaa jokaisen sivun ja tunnistaa viivastot, nuotit ja symbolit.
  3. Tarkista, muokkaa ja vieMusiikkisi avautuu täysin muokattavana nuottina. Tarkista ja korjaa tarvittaessa, sitten transponoi, sovita, toista tai vie se MusicXML- ja MIDI-muodossa nuotinnusohjelmaasi.

Kuvaa puhelimellasi. Sovelluksen sisäinen kamera käyttää laitteella toimivaa asiakirjaskannausta, joka tunnistaa sivun, rajaa sen ja oikaisee kuvan ennen tunnistusta. Puhtaampi kuva tarkoittaa puhtaampaa muunnosta.

Mitä Opuscan osaa lukea

Opuscanin OMR on tehty länsimaiselle vakiintuneelle painetulle nuottikirjoitukselle, eli nuotinnusohjelmalla ladotulle tai ammattimaisesti painetulle musiikille. Se kattaa valtaosan nuoteista, oppikirjoista, stemmoista ja sointumerkillisistä melodialehdistä.

Toimii hyvin

  • Painetut tai digitaalisesti ladotut nuotit, mukaan lukien skannaukset ja valokuvat painetuista sivuista
  • Soolostemmat, pianonuotit ja muu kaksiviivastoinen musiikki sekä usean instrumentin partituurit
  • Melodialehdet sointumerkeillä

Ei tuettu

  • Käsinkirjoitettu tai käsin kopioitu nuottimateriaali
  • Tabulatuuri (kitara-/bassotabulatuuri), jota ei vielä tueta
  • Sivut, joissa ei ole standardin mukaista nuottikirjoitusta (vain tekstiä, vain sanoituksia, kansisivut)

Mitä nuottikirjoituksia tuetaan?

Länsimaisessa painetussa nuottikirjoituksessa Opuscan tunnistaa laajan valikoiman merkintöjä, muun muassa:

KategoriaMitä Opuscan tunnistaa
AvaimetDiskantti- (G), basso- (F), altto- ja tenoriavaimet (C) kaikissa paikoissa, oktaavisiirretyt avaimet ja lyömäsoitinavaimet, mukaan lukien avaimenvaihdokset teoksen sisällä
SävellajimerkitKaikki sävellajimerkinnät, 7 alennuksesta 7 ylennykseen
TahtilajitMikä tahansa osoittaja 1:stä 24:ään, nimittäjät 1, 2, 4, 8, 16 ja 32 sekä common time ja alla breve
NuottiarvotKokonuoteista 1024-osanuotteihin sekä brevis, longa ja maxima, myös pidennyspisteellisinä
TauotTavalliset tauot ja usean tahdin tauot
RytmiryhmätTriolit ja muut suhteet (3:2, 2:3, 5:4, 6:4, 7:4, 7:8, 9:8 ja muita)
PalkituksetTavalliset palkit, osittaiset palkit, palkkikoukut, mukautetut palkituskuviot ja taukojen yli kulkevat palkit
Sävelkorkeudet ja soinnutKoko sävelkorkeusalue apuviivoineen, sointuineen ja useine äänineen samalla viivastolla
Tilapäiset etumerkitYlennys-, alennus- ja palautusmerkit, kaksoisylennys ja kaksoisalennus, muistutusmerkit sekä mikrotonaaliset (neljäsosasävelaskelen) tilapäiset etumerkit
Sidonnat, kaaret ja etusäveletSidonnat, kaaret, etusävelet, acciaccatura ja pienet apunuotit
Dynamiikkamerkit ja crescendo- ja decrescendohaaratppp:stä fff:ään sekä sf, sfz, fz, fp, rfz ja muut, mukana crescendo- ja decrescendohaarat
ArtikulaatiomerkitStaccato, staccatissimo, tenuto, aksentti, marcato, irrotettu legato, hengitysmerkit, caesurat ja jazz-merkinnät
Korukuviot ja tremolotTrilli, mordentti, gruppetto, shake, schleifer, Haydn-korukuvio, aaltoviiva sekä 1-4 viivan tremolot
Linjat ja tempoOktaaviviivat (8va, 8vb, 15ma, 15mb), metronomimerkinnät BPM-arvoineen sekä rit. ja accel.
Tahtiviivat ja kertauksetTavalliset, kaksois-, loppu-, kertaus- ja paksu-ohuet tahtiviivat; voltat, Segno, Coda, D.C., D.S., To Coda ja Fine
TahtikertomerkitYhden tahdin kertomerkit (%) ja rytmiviivat
NuotinpäätTavalliset, X-, ympyrä-X-, risti-, timantti-, kolmio-, neliö-, slash- ja piilotetut nuotinpäät
Useat viivastot ja lyömäsoittimetPiano- ja ison viivaston soittimet (jopa 7 viivastoa), lyömäsoitinviivastot ja nuotinpäät
SointumerkitSointumerkit ja sointukaaviot tunnistetaan muokattaviksi soinnuiksi, eivät vain tekstiksi
Soittotekniikat ja pedaaliHarmoniset äänet, sormitukset, jousitukset, pizzicato, suljetut ja avoimet kielet, peukaloasema sekä sustain-pedaali
Teksti ja laulun sanatLaulun sanat, harjoitusmerkit ja tekstihuomautukset

Laulun sanat ei-latinalaisilla kirjaimistoilla. Latinalaista kirjaimistoa käyttävät kielet tunnistetaan automaattisesti. Japanin, korean, kiinan ja kyrillistä kirjaimistoa käyttävien kielten kohdalla valitse kieli muunnosnäkymässä ennen skannausta.

Parhaat käytännöt tarkkoihin skannauksiin

Tekoäly on hyvä, mutta se pystyy lukemaan selvästi vain sen, mitä sivulla näkyy. Muutama tapa vaikuttaa paljon siihen, kuinka tarkka muunnettu nuotti on.

Kultainen sääntö. Jos ihmisen on vaikea lukea sitä, tekoälynkin on vaikea lukea sitä. Mitä puhtaampi ja terävämpi lähde on, sitä parempi muunnos.

Tee näin

  • Käytä korkearesoluutioisia skannauksia tai teräviä, hyvin valaistuja valokuvia
  • Aseta sivu tasaiseksi ja suoraan niin, että se täyttää koko rajauksen
  • Suosi painettua tai digitaalisesti ladottua nuottia
  • Käytä sovelluksen kameraa, jotta sivu rajataan ja suoristetaan automaattisesti
  • Tuo yksi kappale tiedostoa kohden ja soolo-osuuksissa yksi soitin tiedostoa kohden

Mikä heikentää tunnistusta

  • Matalaresoluutioiset tai sumeat tiedostot
  • Taipuneet, vääristyneet tai kaartuvat viivastot (kun kirjaa kuvataan selkämyksen läheltä)
  • Haalea, osittain pyyhitty tai runsaasti merkintöjä sisältävä nuottikuva
  • Skannausvirheet, varjot tai vinot ja kiertyneet sivut

Optinen nuotintunnistus selitetään

Mitä optinen nuotintunnistus (OMR) tarkoittaa?

OMR on musiikin vastine tekstin OCR:lle: ohjelmisto, joka lukee sivulle painetun nuottikirjoituksen ja muodostaa siitä rakenteista, muokattavaa musiikkia. Opuscan käyttää tekoälymallia viivastojen, nuottien, rytmien, sanoitusten ja dynamiikkamerkintöjen tunnistamiseen ja antaa tulokseksi oikean nuotin, jota voit toistaa ja viedä eteenpäin.

Voiko tekoäly muuntaa nuotti-PDF:n muokattavaksi nuotiksi?

Kyllä. Opuscan muuntaa painettujen tai kaiverrettujen nuottien PDF-tiedostot ja valokuvat täysin muokattaviksi nuoteiksi ja vie ne standardimuotoisina MusicXML- ja MIDI-tiedostoina MuseScoreen, Doricoon, Sibeliukseen, Flatiin ja mihin tahansa DAW-ohjelmaan.

Toimiiko se puhelimellani otetulla valokuvalla?

Kyllä. Sovelluksen kamera käyttää laitteessa toimivaa asiakirjaskannausta, joka tunnistaa sivun, rajaa sen ja oikaisee sen ennen tunnistusta. Saat tarkimman tuloksen tutustumalla yllä oleviin parhaisiin vinkkeihin.

Tuetaanko käsinkirjoitettuja nuotteja tai tabulatuureja?

Ei vielä. Opuscan on suunniteltu painetulle tai kaiverretulle länsimaiselle standardinuottikirjoitukselle. Käsinkirjoitettuja nuotteja, kitara- ja bassotabulatuureja sekä sivuja ilman standardinuottikirjoitusta ei tueta.

Kehittäjät

Automatisoi nuottimuunnokset.

Sama tunnistustekniikka, joka toimii Opuscanin taustalla, on saatavilla myös API:na. Lähetä PDF tai kuva ja saat takaisin rakenteisen MusicXML:n valmiina tallennettavaksi, renderöitäväksi tai muokattavaksi.

Rakennettu skaalautumaan

Yksi API, koko katalogisi.

  • Lataa PDF tai kuva, lataa MusicXML tai MIDI
  • Sama sovellusten taustalla oleva malli ilman kompromisseja tarkkuudessa
  • Käsittele kokonaisia katalogeja eräajona ilman käsityötä

Tunnistus, joka
paranee jatkuvasti.

Parannamme skannausta jatkuvasti. Katso tarkalleen, mikä on muuttunut.

Tutustu Opuscan use cases -esimerkkeihin