šµ DeepMusic-OCR: How AI Learns to Read Sheet Music
We adapted DeepSeek-OCR a model built for reading text and taught it to read the 2D language of music notation.
Hereās what the paper is really about š
Thread š§µ
1/
Unlike normal text, music is two-dimensional:
ā¢ Vertical = chords / simultaneity
ā¢ Horizontal = rhythm / time
Traditional OMR systems try to segment symbols.
DeepMusic-OCR doesnāt.
It reads the entire score at once.
2/
š The Encoder
DeepMusic-OCR uses a vision encoder redesigned for music:
ā¢ 8Ć8 fine-patch resolution for tiny details
ā¢ 2D positional encoding aligned with staff lines
ā¢ Dual attention: local (notes) + global (layout)
ā¢ Pretrained on millions of synthetic sheets
This lets the model capture both symbols and structure.
3/
š¼ The Decoder
Instead of outputting words, the decoder outputs musical events, like:
<note:F#5-quarter>
<clef:G>
<key:D-major>
It also handles:
ā¢ Polyphony
ā¢ Chords
ā¢ Multiple voices
ā¦thanks to a Mixture-of-Experts architecture.
4/
š§ Musical Grammar Built In
DeepMusic-OCR isnāt allowed to output impossible music.
A āmusical grammar lossā penalizes:
ā¢ Broken measures
ā¢ Impossible rhythms
ā¢ Invalid symbols
This gives the model a sense of musical correctness.
5/
š¼ļø Training Data
Since real OMR data is limited, we generated millions of training examples from:
ā¢ MusicXML
ā¢ MuseScore
ā¢ IMSLP
Each score is rendered in multiple engraving styles, with distortions to simulate scanned pages.
Synthetic data = the breakthrough.
6/
ā” Results
With ~200 tokens per page, DeepMusic-OCR achieves:
ā¢ High symbol accuracy
ā¢ Consistent measures
ā¢ Strong transfer to handwritten music
And it does so at a fraction of the compute cost of traditional OMR systems.
7/
š Why This Matters
DeepMusic-OCR enables:
ā¢ Digitization of classical archives
ā¢ Large-scale symbolic music analysis
ā¢ Conditioning generative models with real scores
ā¢ Education tools for musicians
This isnāt just OCR itās visual-symbolic music understanding.
1.122
3
Il contenuto di questa pagina ĆØ fornito da terze parti. Salvo diversa indicazione, OKX non ĆØ l'autore degli articoli citati e non rivendica alcun copyright sui materiali. Il contenuto ĆØ fornito solo a scopo informativo e non rappresenta le opinioni di OKX. Non intende essere un'approvazione di alcun tipo e non deve essere considerato un consiglio di investimento o una sollecitazione all'acquisto o alla vendita di asset digitali. Nella misura in cui l'IA generativa viene utilizzata per fornire riepiloghi o altre informazioni, tale contenuto generato dall'IA potrebbe essere impreciso o incoerente. Leggi l'articolo collegato per ulteriori dettagli e informazioni. OKX non ĆØ responsabile per i contenuti ospitati su siti di terze parti. Gli holding di asset digitali, tra cui stablecoin e NFT, comportano un elevato grado di rischio e possono fluttuare notevolmente. Dovresti valutare attentamente se effettuare il trading o detenere asset digitali ĆØ adatto a te alla luce della tua situazione finanziaria.