Python
使用 LangChain Python 集成 Git 文档加载器。
Git 是一个分布式版本控制系统,用于跟踪任意计算机文件集合的变更,通常用于在软件开发过程中协调程序员之间的协作开发工作。
Git
pip install -qU GitPython
from git import Repo repo = Repo.clone_from( "https://github.com/langchain-ai/langchain", to_path="./example_data/test_repo1" ) branch = repo.head.reference
from langchain_community.document_loaders import GitLoader
loader = GitLoader(repo_path="./example_data/test_repo1/", branch=branch)
data = loader.load()
len(data)
print(data[0])
page_content='.venv\n.github\n.git\n.mypy_cache\n.pytest_cache\nDockerfile' metadata={'file_path': '.dockerignore', 'file_name': '.dockerignore', 'file_type': ''}
loader = GitLoader( clone_url="https://github.com/langchain-ai/langchain", repo_path="./example_data/test_repo2/", branch="master", )
1074
from langchain_community.document_loaders import GitLoader # e.g. loading only python files loader = GitLoader( repo_path="./example_data/test_repo1/", file_filter=lambda file_path: file_path.endswith(".py"), )