duoduobear 发表于 2025-02-26 16:45

感谢指导。我今天试了微软的Markitdown，2个中文pdf都遇到这个的错误：UnicodeEncodeError: 'gbk' codec can't encode character '\xa9' in position 139: illega...

要将 PDF 文档通过 LibreOffice 在后台转换为 Markdown（MD）格式文件，并处理其中的图片类内容，可以按照以下步骤进行分析和实现：

1. PDF 转 MD 的基本流程
LibreOffice 本身并不直接支持将 PDF 文件转换为 Markdown 格式。不过，可以通过结合其他工具来实现这一目标。以下是可能的实现方式：

步骤 1：使用 LibreOffice 将 PDF 转换为中间格式（如 DOCX 或 HTML）
LibreOffice 支持将 PDF 文件转换为其他文档格式，例如 DOCX 或 HTML。这一步可以通过命令行工具 unoconv 或直接调用 LibreOffice 的命令行接口完成 8。
示例命令：
bash
复制
1
libreoffice --headless --convert-to html input.pdf
步骤 2：将中间格式（HTML 或 DOCX）转换为 Markdown
使用专门的工具（如 Pandoc）将 HTML 或 DOCX 文件进一步转换为 Markdown 格式。Pandoc 是一个强大的文档转换工具，能够很好地处理 HTML 和 DOCX 到 Markdown 的转换 10。
示例命令：
bash
复制
1
pandoc -f html -t markdown -o output.md input.html
2. 处理 PDF 中的图片类内容
PDF 文件中的图片内容在转换过程中需要特别处理，以确保它们能够正确嵌入到 Markdown 文件中。

方法 1：提取图片并嵌入 Markdown
如果 PDF 文件包含图片，可以先使用工具（如 PDFBox）将 PDF 中的图片提取出来 2。然后，在生成的 Markdown 文件中，通过 Markdown 的图片语法（）引用这些图片。
示例流程：
使用 PDFBox 提取 PDF 中的所有图片：
bash
复制
1
java -jar pdfbox-app-2.0.12.jar ExtractImages input.pdf
将提取的图片保存到指定目录，并在 Markdown 文件中引用这些图片。
方法 2：通过 HTML 中间格式保留图片
如果将 PDF 转换为 HTML 格式，HTML 文件通常会保留图片内容（作为 <img> 标签）。在后续使用 Pandoc 将 HTML 转换为 Markdown 时，Pandoc 会自动将图片路径嵌入到 Markdown 文件中。
3. 完整脚本示例
以下是一个完整的脚本示例，展示如何将 PDF 转换为 Markdown 并处理图片内容：

bash
复制
1
2
3
4
5
6
7
8
9
10
# Step 1: 使用 LibreOffice 将 PDF 转换为 HTML
libreoffice --headless --convert-to html input.pdf

# Step 2: 使用 PDFBox 提取 PDF 中的图片
java -jar pdfbox-app-2.0.12.jar ExtractImages input.pdf

# Step 3: 使用 Pandoc 将 HTML 转换为 Markdown
pandoc -f html -t markdown -o output.md input.html

# Step 4: 手动检查并调整 Markdown 文件中的图片路径
4. 注意事项
图片质量 ：PDF 中的图片在提取后可能会有质量损失，建议根据需求调整 PDFBox 的参数。
复杂布局 ：如果 PDF 包含复杂的表格或排版，转换后的 Markdown 文件可能需要手动调整。
依赖工具 ：确保系统中已安装 LibreOffice、PDFBox 和 Pandoc 等工具。

Trompette 发表于 2025-02-26 12:10

这个功能很有用，大家探讨
主流方案都是 "PDF 解析提取文本" 结合 "基于 LLM 的 OCR"
直接二进制文件丢给管道是不行的
在关键字 "convert PDF to markdown" 下面，我搜到的结果
微软开源方案：MarkItDow...

duoduobear 发表于 2025-02-26 09:27

扎心了。
...

duoduobear 发表于 2025-02-26 06:25

我遇到一个字符编码问题。当导入一些文件给ollama deepseek-r1时，我发现它只能识别utf-8编码的txt中文文件。包含中文的pdf和ansi格式的中文txt文件都不能识别出中文字符。但英文pdf是可以识别的。
无论是直接用管道传递的方式...

duoduobear 发表于 2025-02-24 03:12

采用多张低阶但显存中等的显卡如何？比如2060 12GB （显存带宽336GB/s），3060 12GB（显存带宽360GB/s），新卡好像2500元左右。2张卡可以达到4090的显存量。 用2张卡也不需要高阶主板。整体成本低不少。
还有4060 T...

ChK 发表于 2025-02-24 12:33

如果是为了要显存，还不如买2080TI 22G的二手卡。
其实自己部署模型要达到实用的程度，不能卡着模型本身的大小来计算显存，因为推理窗口也要吃掉一大块显存，如果要跑72B的模型，可能用两块P40更合算，因为48G显存，比两块2080TI 44G多了...

虚化 发表于 2025-02-24 14:47

你的CPU+GPU跑的时候用了ktransformer吗？...

ChK 发表于 2025-02-24 12:33

如果是为了要显存，还不如买2080TI 22G的二手卡。
其实自己部署模型要达到实用的程度，不能卡着模型本身的大小来计算显存，因为推理窗口也要吃掉一大块显存，如果要跑72B的模型，可能用两块P40更合算，因为48G显存，比两块2080TI 44G多了...

bird3000 发表于 2025-02-24 09:39

跑起来速度怎么样？

Trompette 发表于 2025-02-22 22:43

我试一个2万内可能跑6Tps的方案
CPU EPYC 7532 二代 32核64线 （准新 900元）
主板 技嘉 MZ31 （拆机 1650元）
内存 镁光 DDR4 3200 64G 16条 共1T （460x16 = 7360元）
到此用掉1万...

ddtx 发表于 2025-02-23 21:18

量化后精度下降，前面那个跑蒸馏模型MMLU Pro分数的没有提是几位量化的，下面是另一人跑的几大模型，粗略看是85分vs65分的差别吧。

ddtx 发表于 2025-02-23 11:00

不满血的话，用32B的，差距不大，省去大量折腾