Optyczne rozpoznawanie nut z użyciem AI

Zamień PDF, skan lub zdjęcie w w pełni edytowalny zapis nutowy.

Optyczne rozpoznawanie nut (OMR) oparte na AI od Opuscan odczytuje muzykę wydrukowaną na stronie i odtwarza ją jako prawdziwy zapis nutowy, który można odtwarzać, transponować, aranżować oraz eksportować do MusicXML lub MIDI. Ty dostarczasz nuty. AI zajmuje się przepisywaniem.

Drukowana strona z pierwszego kwartetu smyczkowego Mozarta, zeskanowana z oryginalnego druku rytowanego.

Drukowana strona

  • .musicxml
  • .midi
Ten sam kwartet odtworzony przez Opuscan jako czysty, w pełni edytowalny zapis nutowy.

Edytowalny zapis nutowy

Napędzane własnym modelem AI od Tutteo

AI do rozpoznawania, które sami tworzymy, trenujemy i rozwijamy.

Każdy PDF i każde zdjęcie są przetwarzane przez własny model deep learning opracowany przez Tutteo, a nie przez silnik zewnętrznego dostawcy. Nie tylko wykrywa symbole, ale odczytuje je w kontekście muzycznym, tak jak zrobiłaby to wykształcona muzycznie osoba, dzięki czemu odtworzony zapis nutowy ma sens.

  • Odczytuje rytm, wysokość dźwięków i układ razem, w kontekście, a nie symbol po symbolu
  • Rozdziela instrumenty i głosy oraz przypisuje tekst, akordy i słowa do właściwych nut
  • Stworzone w całości we własnym zakresie, więc z każdą wersją staje się zauważalnie lepsze

Jak to działa

  1. Zaimportuj swoje nutyZaimportuj plik PDF lub obraz z komputera albo zrób zdjęcie bezpośrednio w aplikacji mobilnej Opuscan.
  2. Opuscan odczytuje stronęSkanuje każdą stronę i rozpoznaje pięciolinie, nuty oraz symbole.
  3. Przejrzyj, edytuj i eksportujTwoje nuty otwierają się jako w pełni edytowalna partytura. Możesz wszystko sprawdzić i poprawić, a potem transponować, aranżować, odtwarzać lub wyeksportować do MusicXML i MIDI dla swojego edytora nut.

Skanuj telefonem. Aparat w aplikacji korzysta ze skanowania dokumentów na urządzeniu, które wykrywa stronę, przycina ją i wyrównuje obraz przed rozpoznawaniem. Lepsze ujęcie oznacza lepszą konwersję.

Co potrafi odczytać Opuscan

OMR w Opuscan został stworzony z myślą o standardowej zachodniej notacji muzycznej zapisanej komputerowo, czyli muzyce złożonej w programie nutowym lub profesjonalnie wydrukowanej. Obejmuje to większość nut, podręczników, głosów i lead sheetów.

Działa dobrze

  • Drukowane lub komputerowo zapisane nuty, w tym skany i zdjęcia wydrukowanych stron
  • Głosy solowe, utwory fortepianowe i inne zapisane na dwóch pięcioliniach oraz partytury na wiele instrumentów
  • Karty harmoniczne z symbolami akordów

Nieobsługiwane

  • Ręcznie pisane lub ręcznie przepisywane nuty
  • Tabulatura (tabulatura gitarowa lub basowa), która nie jest jeszcze obsługiwana
  • Strony bez standardowej notacji (sam tekst, same słowa piosenki, strony tytułowe)

Jakie zapisy nutowe są obsługiwane?

W ramach drukowanej notacji zachodniej Opuscan rozpoznaje szeroki zakres symboli, między innymi:

KategoriaCo rozpoznaje Opuscan
KluczeKlucz wiolinowy (G), basowy (F), altowy i tenorowy (C) we wszystkich położeniach, klucze oktawujące i perkusyjne, także zmiany klucza w obrębie utworu
TonacjeWszystkie tonacje, od 7 bemoli do 7 krzyżyków
Oznaczenia metryczneDowolny licznik od 1 do 24, mianowniki 1, 2, 4, 8, 16 i 32 oraz C i przekreślone C
Wartości rytmiczneOd całej nuty do tysiąc dwudziestoczwartkowej nuty, a także breve, longa i maxima, z kropkami przedłużającymi
PauzyZwykłe pauzy oraz pauzy wielotaktowe
Grupy niemiaroweTriole i inne proporcje (3:2, 2:3, 5:4, 6:4, 7:4, 7:8, 9:8 i inne)
BelkiBelki standardowe, częściowe, haczyki, niestandardowe układy belek oraz belki obejmujące pauzy
Wysokości dźwięków i akordyPełny zakres wysokości dźwięków, z liniami dodanymi, akordami i wieloma głosami na jednej pięciolinii
Znaki chromatyczneKrzyżyk, bemol, kasownik, podwójny krzyżyk i podwójny bemol, znaki ostrzegawcze oraz mikrotonowe znaki chromatyczne (ćwierćtonowe)
Łuki łączące, łuki frazowe i przednutkiŁuki łączące, łuki frazowe, przednutki, acciaccatura i małe nuty pomocnicze
Dynamika i widełkiOd ppp do fff oraz sf, sfz, fz, fp, rfz i innych, a także widełki crescendo i decrescendo
ArtykulacjeStaccato, staccatissimo, tenuto, akcent, marcato, portato, oddechy, cezury i oznaczenia jazzowe
Ozdobniki i tremolaTryl, mordent, obiegnik, shake, schleifer, ozdobnik Haydna, linia falista oraz tremola od 1 do 4 przekreśleń
Linie i tempoLinie oktawowe (8va, 8vb, 15ma, 15mb), oznaczenia metronomiczne z BPM oraz rit./accel.
Kreski taktowe i powtórkiZwykłe, podwójne, końcowe, repetycyjne oraz grubo-cienkie kreski taktowe; volty, Segno, Coda, D.C., D.S., To Coda i Fine
Powtórzenia taktówJednotaktowe znaki powtórzenia (%) i slashe rytmiczne
Główki nutStandardowe, X, X w kółku, krzyżykowe, rombowe, trójkątne, kwadratowe, ukośnikowe i ukryte główki nut
Wielopięcioliniowe układy i perkusjaFortepian i instrumenty zapisywane na dwóch pięcioliniach (do 7 pięciolinii), pięciolinie perkusyjne i główki nut
Symbole akordówSymbole akordów i rozpiski akordowe, rozpoznawane jako edytowalne akordy, a nie tylko tekst
Techniki wykonawcze i pedałFlażolety, palcowanie, smyczkowanie, pizzicato, zatykane i puste struny, pozycja kciuka oraz pedał tłumika
Tekst i teksty piosenekTeksty piosenek, oznaczenia prób i adnotacje tekstowe

Teksty w językach nieposługujących się alfabetem łacińskim. Języki zapisane pismem łacińskim są rozpoznawane automatycznie. W przypadku języka japońskiego, koreańskiego, chińskiego i języków zapisanych cyrylicą wystarczy przed skanowaniem wybrać język na ekranie konwersji.

Jak uzyskać dokładne skany

AI działa dobrze, ale wyraźnie odczyta tylko to, co widać na stronie. Kilka prostych zasad może znacząco wpłynąć na dokładność przekonwertowanego zapisu nutowego.

Złota zasada. Jeśli coś jest trudne do odczytania dla człowieka, będzie też trudne do odczytania dla AI. Im czystszy i ostrzejszy materiał źródłowy, tym lepsza konwersja.

Rób to

  • Używaj skanów w wysokiej rozdzielczości albo ostrych, dobrze oświetlonych zdjęć
  • Połóż stronę płasko, prosto i wypełnij nią cały kadr
  • Wybieraj nuty drukowane lub zapisane komputerowo
  • Używaj aparatu w aplikacji, aby automatycznie przycinać i prostować stronę
  • Importuj po jednym utworze na plik, a w przypadku partii solowych po jednym instrumencie na plik

Co pogarsza rozpoznawanie

  • Pliki o niskiej rozdzielczości lub rozmazane
  • Wygięte, zdeformowane lub zakrzywione pięciolinie (fotografowanie książki przy grzbiecie)
  • Blade, częściowo wymazane lub mocno pozaznaczane nuty
  • Artefakty skanowania, cienie oraz przekrzywione lub obrócone strony

OMR, czyli optyczne rozpoznawanie nut

Czym jest optyczne rozpoznawanie nut (OMR)?

OMR to muzyczny odpowiednik OCR dla tekstu: oprogramowanie, które odczytuje zapis nutowy wydrukowany na stronie i odtwarza go jako uporządkowany, edytowalny zapis nutowy. Opuscan używa modelu AI do rozpoznawania pięciolinii, nut, rytmów, tekstów i dynamiki, a następnie tworzy prawdziwy zapis nutowy, który można odtwarzać i eksportować.

Czy AI potrafi zamienić PDF z nutami na edytowalny zapis nutowy?

Tak. Opuscan konwertuje pliki PDF i zdjęcia drukowanych lub komputerowo składanych nut na w pełni edytowalne zapisy nutowe oraz eksportuje standardowe pliki MusicXML i MIDI do MuseScore, Dorico, Sibelius, Flat i każdego DAW.

Czy to działa ze zdjęciem zrobionym telefonem?

Tak. Aparat w aplikacji korzysta ze skanowania dokumentów na urządzeniu, które wykrywa stronę, przycina ją i prostuje przed rozpoznaniem. Aby uzyskać najdokładniejszy wynik, zapoznaj się z najlepszymi praktykami powyżej.

Czy obsługiwany jest odręczny zapis nutowy lub tabulatura?

Jeszcze nie. Opuscan został stworzony do standardowego zachodniego zapisu nutowego, który został opracowany komputerowo lub wydrukowany. Odręczny zapis nutowy, tabulatura gitarowa i basowa oraz strony bez standardowego zapisu nutowego nie są obsługiwane.

Deweloperzy

Zautomatyzuj konwersję nut.

To samo rozpoznawanie, które napędza Opuscan, jest dostępne jako API. Wyślij plik PDF lub obraz, a otrzymasz uporządkowany MusicXML, gotowy do przechowywania, renderowania lub edycji.

Stworzone z myślą o skali

Jedno API, cały Twój katalog.

  • Prześlij PDF lub zdjęcie, pobierz MusicXML albo MIDI
  • Ten sam model co w aplikacjach, bez kompromisów w dokładności
  • Przetwarzaj całe katalogi wsadowo, bez ręcznej pracy

Rozpoznawanie, które
stale się poprawia.

Nieustannie ulepszamy skanowanie. Zobacz dokładnie, co się zmieniło.

Poznaj zastosowania Opuscan