导出

语雀文档批量导出为Markdown文件 - Ken的杂谈（可用）
image.png

语雀文档批量导出为Markdown文件

一、前言

语雀的定位由之前的社区转向工具，也不提供批量导出Markdown的功能，有开发者提供了导出脚本可以通过语雀官方API帮我们把文档批量导出为Markdown，方便我们把文档导入notion等其他平台或者备份在本地，以备不时之需

环境依赖

工具 版本要求 本文环境
操作系统 macOS/Windows/Linux Windows 11
Python 3.x 3.11
pip from python 3.x pip 22.3.1 from python 3.11

二、操作步骤

1、创建Token

登录语雀后在账户设置中可以创建Token，供访问API使用：https://www.yuque.com/settings/tokens/new
根据最小授权原则，这里只授予读取知识库以及文档的权限即可
image.png

2、安装Python

访问官网，下载自己操作系统对应的Python3 https://www.python.org/downloads/
image.png
查看版本

  1. python -V
  3. #输出内容
  4. Python 3.11.0
  6. #如果输出的是Python 2.x，可以使用Python3 -v查看
  7. #后续依赖安装也要使用pip3命令

4、安装依赖

通过pip（Python内置包管理工具）安装代码所需依赖

  1. pip install requests psutil
  3. #输出内容
  4. Collecting requests
  5.   Downloading requests-2.28.1-py3-none-any.whl (62 kB)
  6.      ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 62.8/62.8 kB 1.1 MB/s eta 0:00:00
  7. Collecting psutil
  8.   Downloading psutil-5.9.4-cp36-abi3-win_amd64.whl (252 kB)
  9.      ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 252.5/252.5 kB 2.6 MB/s eta 0:00:00
  10. ###省略其他依赖安装内容###
  11. Installing collected packages: urllib3, psutil, idna, charset-normalizer, certifi, requests
  12. Successfully installed certifi-2022.9.24 charset-normalizer-2.1.1 idna-3.4 psutil-5.9.4 requests-2.28.1 urllib3-1.26.13

5、代码及配置

创建导出目录，例如：d:\yuque，~/yuque
1、创建配置文件config.json

  1. {
  2.     "TOKEN": "your token",                                
  3.     "USER_AGENT": "yuque_export",  
  4.     "BASE_URL": "https://customspace.yuque.com/api/v2",
  5.     "DATA_PATH": "yuque_data"                             
  6. }
配置项 说明
TOKEN 替换为前面创建的Token
USER_AGENT 保持默认即可，无需调整
BASE_URL 语雀官方API地址，无误调整
DATA_PATH 文档导出目录，无需调整，会在导出目录中创建子目录

2、创建Python脚本yuque.py

  1. import json
  2. import sys
  3. import os
  4. import re
  5. import requests
  6. import psutil
  7. from datetime import datetime
  9. if getattr(sys, 'frozen', False):
  10.     APPLICATION_PATH = os.path.dirname(sys.executable)
  11. else:
  12.     APPLICATION_PATH = os.path.dirname('.')
  13. print(APPLICATION_PATH)
  14. jsonConfig = json.load(open(os.path.join(APPLICATION_PATH, "config.json"), encoding='utf-8'))
  17. class ExportYueQueDoc:
  18.     def __init__(self):
  19.         try:
  20.             if getattr(sys, 'frozen', False):
  21.                 APPLICATION_PATH = os.path.dirname(sys.executable)
  22.             else:
  23.                 APPLICATION_PATH = os.path.dirname('.')
  24.             self.jsonConfig = json.load(open(os.path.join(APPLICATION_PATH, "config.json"), encoding='utf-8'))
  25.             self.base_url = self.jsonConfig['BASE_URL']
  26.             self.token = self.jsonConfig['TOKEN']
  27.             self.headers = {
  28.                 "User-Agent": self.jsonConfig['USER_AGENT'],
  29.                 "X-Auth-Token": self.jsonConfig['TOKEN']
  30.             }
  31.             self.data_path = self.jsonConfig['DATA_PATH']
  32.         except:
  33.             raise ValueError("config.json 有误")
  35.     def get_user_info(self):
  36.         res_obj = requests.get(url=self.base_url + '/user', headers=self.headers)
  37.         if res_obj.status_code != 200:
  38.             raise ValueError("Token 信息错误")
  39.         user_json = res_obj.json()
  40.         self.login_id = user_json['data']['login']
  41.         self.uid = user_json['data']['id']
  42.         self.username = user_json['data']['name']
  43.         print("=========== 用户信息初始化成功 ==========")
  45.     def get_repos_data(self):
  46.         repos_json = requests.get(self.base_url + '/users/' + self.login_id + '/repos', headers=self.headers).json()
  47.         repos_list = []
  48.         for item in repos_json['data']:
  49.             rid = item['id']  # 知识库id
  50.             name = item['name']  # 知识库名称
  51.             repos_list.append({"rid": rid, "repos_name": name})
  52.         return repos_list
  54.     def get_article_data(self, repos_list):
  55.         """获取文章数据"""
  56.         article_list = []
  57.         for repos in repos_list:
  58.             article_datas = requests.get(self.base_url + '/repos/' + str(repos['rid']) + '/docs',
  59.                                          headers=self.headers).json()
  60.             for item in article_datas['data']:
  61.                 bid = repos['rid']
  62.                 title = item['title']  # 文章标题
  63.                 desc = item['description']
  64.                 slug = item['slug']
  65.                 article_list.append(
  66.                     {"bid": bid, "title": title, "desc": desc, "slug": slug, "repos_name": repos["repos_name"]})
  68.         for item in article_list:
  69.             per_article_data = requests.get(self.base_url + '/repos/' + str(item['bid']) + '/docs/' + item['slug'],
  70.                                             headers=self.headers).json()
  71.             posts_text = re.sub(r'\\n', "\n", per_article_data['data']['body'])
  72.             result = re.sub(r'<a name="(.*)"></a>', "", posts_text)
  73.             # all_datas.append({"title": item['title'], "content": result})
  74.             yield result, item["repos_name"], item['title']
  76.     def save_article(self, result, repos_name, title):
  77.         current_time = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
  78.         dir_path = f"{self.data_path}/{repos_name}"
  79.         dir_path = dir_path.replace(".","_")
  80.         filepath = dir_path + f"/{title}.md"
  81.         dir_ret = os.path.exists(dir_path)
  82.         if not dir_ret:
  83.             os.makedirs(dir_path)
  84.             #exists_ret = os.path.exists(filepath)
  85.         try:
  86.             with open(filepath, 'a', encoding="utf-8") as fp:
  87.                 fp.writelines(result)
  88.                 print(f"[{current_time}]  {title} 导出完成")
  89.         except Exception as e:
  90.             print(f"[{current_time}]  {title} 导出失败")
  92.     def main(self):
  93.         self.get_user_info()
  94.         repos_list = self.get_repos_data()
  95.         gen_obj = self.get_article_data(repos_list)
  96.         for item in gen_obj:
  97.             self.save_article(item[0], item[1], item[2])
  100. if __name__ == "__main__":
  101.     yq = ExportYueQueDoc()
  102.     yq.main()

6、执行导出

  1. python yuque.py
  3. #输出内容示例
  4. =========== 用户信息初始化成功 ==========
  5. [2022-12-06 22:56:55]  语雀批量导出Markdown-ken.io 写入完成
  6. [2022-12-06 22:56:55]  浅谈软件设计模式与设计原则-ken.io 写入完成
  7. [2022-12-06 22:56:55]  常用正则表达式收集-ken.io 写入完成
  8. [2022-12-06 22:56:55]  XShell管理远程Linux服务器安装&配置教程-ken.io 写入完成
  9. [2022-12-06 22:56:55]  Windows下Nginx安装与配置教程-ken.io 写入完成
  10. [2022-12-06 22:56:55]  Ken.io 从ASP.NET Core 3.1迁移到5.0

导出成功后可以在config.json设置的目录中看到导出结果
image.png

三、备注

1、可能碰到的问题

Python版本问题

  1. python yuque.py
  2. #输出内容
  3.   File "yuque.py", line 78
  4.     dir_path = f"{self.data_path}/{repos_name}"
  5.                                               ^
  6. SyntaxError: invalid syntax

这种情况可能是因为系统安装了多个Python版本，而默认的Python版本是2.x
这时候我们可以用以下命令指定Python3

  1. #安装依赖
  2. pip3 install requests psutil
  4. #执行导出
  5. python3 yuque.py

2、本文参考

https://blog.csdn.net/weixin_44797182/article/details/128059847