Parsing PDFs is insanely hard
This is completely unintuitive at first glance, considering PDFs are the most commonly used container of unstructured data in the world. I wrote a blog post digging into the PDF representation itself, why its impossible to “simply” read the page into plaintext, and what the modern parsing techniques are 👇
The crux of the issue is that PDFs are designed to display text on a screen, and not to represent what a word means.
1️⃣ PDF text is represented as glyph shapes positioned at absolute x,y coordinates. Sometimes there’s no mapping from character codes back to a unicode representation
2️⃣ Most PDFs have no concept of a table. Tables are described as grid lines drawn with coordinates. Traditional parser would have to find intersections between lines to infer cell boundaries and associate with text within cells through algorithms
3️⃣ The order of operators has no relationship with reading order. You would need clustering techniques to be able to piece together text into a coherent logical format.
That’s why everyone today is excited about using VLMs to parse text. Which to be clear has a ton of benefits, but still limitations in terms of accuracy and cost.
At @llama_index we’re building hybrid pipelines that interleave both text and VLMs to give both extremely accurate parsing at the cheapest price points.
Blog: https://t.co/iLJpIr7cbH
LlamaParse: https://t.co/TqP6OT5U5O
Os voy a compartir el prompt más poderoso que he creado:
----
1º Necesito que me expliques algo profundo de la realidad que sea poco evidente.
[el modelo responde]
2º ¿Como podría usar este conocimiento para convencerme a ir al gimnasio ahora?
----
Buah, es que no falla! 🔥
Me he apuntado al sorteo de @codelytv a ver si me toca el MacBook Pro 😬
¡Ojo a los cursazos de buenas prácticas de programación que tienen en oferta con lo del #CodelyBlackFriday! https://t.co/DHPs7NgRNM #
@untintoconpan Pienso que el trabajo cooperativo es una herramienta que se adoptó en el desarrollo pero que puede usarse en cualquier otro ámbito o disciplina
Hoy paso por Twitter para contar como llegué hasta aquí.
Estoy escribiendo esto desde Los Angeles, CA.
Pensar que hace unos años me encontraba en mi cuarto en Caracas viendo sus películas…
¿Me creen si les digo que el que me acompaña en la foto es mi jefe?
ABRO 🧵
➡️
Confirmamos 10 nuevos casos de coronavirus en el país. Los nuevos diagnósticos se presentan en Bogotá, Cartagena, Cali, Cúcuta, Dosquebradas, Manizales, Neiva y Medellín. Con estos, Colombia llega a 34 casos de COVID-19.