Python中隐私过滤器的实现，该过滤器通过命名实体识别（NER）删除个人身份信息（PII）

这是我上一篇关于从文本中删除个人信息的文章的后续内容。

GDPR是欧盟制定的《通用数据保护条例》。其目的是保护所有欧洲居民的数据。保护数据也是开发人员的内在价值。通过控制对列和行的访问，保护行/列数据结构中的数据相对容易。但是免费文本呢？

在我上一篇文章中，我描述了一个基于正则表达式用法和禁止词列表的解决方案。在本文中，我们添加了一个基于命名实体识别（NER）的实现。完整的实现可以在github PrivacyFilter项目中找到。

什么是命名实体识别？

根据维基百科，NER是：

命名实体识别（NER）（也称为（命名）实体识别、实体分块和实体提取）是信息提取的一个子任务，旨在定位非结构化文本中提到的命名实体，并将其分类为预定义的类别，如人名、组织、位置、医疗代码、时间表达式、数量、货币值、百分比等。

实现Python隐私文本过滤器，通过删除个人身份信息（PII）来保护用户的隐私。

GDPR是欧盟制定的《通用数据保护条例》。其目的是保护所有欧洲居民的数据。保护数据也是开发人员的内在价值。通过控制对列和行的访问，保护行/列数据结构中的数据相对容易。但是免费文本呢？

为了满足我们的隐私要求，我们可以调整自由文本字段的内容，用标签取代与隐私相关的信息。文本的含义没有改变，但不能通过匿名化与个人相关。目标是翻译以下文本（日期为荷兰语）：

Presidio包含PII实体的预定义识别器。本页介绍了Presidio可以检测的不同实体，以及Presidio用于检测这些实体的方法。

此外，Presidio允许您添加自定义实体识别器。有关详细信息，请参阅添加新识别器文档。

标记单词的顺序-简洁明了。

Figure 1: Colour-coded recognised entities

这篇文章假设读者对从文本中提取实体有一些概念，并希望进一步了解新的自定义实体识别的最先进技术以及如何使用这些技术。然而，如果你是NER问题的新手，请在这里阅读。

话虽如此，这篇文章的目的是描述spaCy的预训练自然语言处理（NLP）核心模型用于学习识别新实体的使用。来自spacy的现有核心NLP模型被训练来识别各种实体，如图2所示。

在文本文档中查找个人身份信息（PII）可能很有用，原因有几个，但我多次遇到的一个用例是帮助匿名文本，以便：

• 与第三方共享数据
• 遵守GDPR等法规要求
• 将PII替换为模拟数据，用作机器学习和其他探索性分析的训练数据

我将尝试自动化查找PII的过程，在本系列文章中，我们将探索一些流行的开源工具和技术，以便在我们自己的数据中识别不同类型的PII。

到目前为止，我们已经找到了查找人名、电子邮件地址、电话号码和信用卡号码的方法。让我们看看我们还能找到哪些其他类型的PII。

介绍Hugging Face

Hugging Face是一个流行的Python库，包含预先训练的人工智能模型，可用于各种自然语言处理（NLP）任务，包括命名实体识别（NER）。正如我们在前几篇文章中所讨论的，NER是一种非常有用的检测文本中PII的技术。

Python示例

让我们看看我们将如何使用拥抱脸。

先决条件：

在文本文档中查找个人身份信息（PII）可能很有用，原因有几个，但我多次遇到的一个用例是帮助匿名文本，以便：

• 与第三方共享数据
• 遵守GDPR等法规要求
• 将PII替换为模拟数据，用作机器学习和其他探索性分析的训练数据

我将尝试自动化查找PII的过程，在本系列文章中，我们将探索一些流行的开源工具和技术，以便在我们自己的数据中识别不同类型的PII。

在第一部分中，我们找到了一种在文本中查找人名的方法，让我们看看我们还可以找到其他类型的PII。

介绍Duckling

Duckling是一个Haskell库，由Facebook开源，用于将文本解析为结构化数据。Duckling可以帮助我们在文本中找到不同类型的信息，包括信用卡号码、电子邮件地址和电话号码。

现在别担心，如果你不是了解Haskell的三个人之一，我们可以将Duckling与任何编程语言一起使用。

Python示例

让我们看看我们将如何用一种不需要关于副作用的害处的演讲的语言来使用Duckling。

在文本文档中查找个人身份信息（PII）可能很有用，原因有几个，但我多次遇到的一个用例是帮助匿名化文本数据，以便：

• 与第三方共享数据
• 遵守GDPR等法规要求
• 用作机器学习和其他探索性分析的训练数据
• 你是Facebook，你终于想做正确的事情了（/S）

我将尝试自动化查找PII的过程，在本系列文章中，我们将探索一些流行的开源工具和技术，以便在我们自己的数据中识别不同类型的PII。

介绍spaCy

命名实体识别（NER）试图识别文本数据中有意义的单词，如人名、地点、日期等。有几个开源工具使用NER来帮助识别有意义的词，我们将在本文中重点介绍的一个非常受欢迎的项目叫做spaCy。

spaCy是一个用于自然语言处理的免费开源python库，具有NER功能，可以帮助我们识别人名、地点和其他潜在有用的信息。

Python示例

先决条件：

如何使用Hugging Face LLM（开源LLM）与您的文档、PDF以及网页中的文章进行对话。

最后，这是第一步。我已经到处找了好几个月了。

所有的文章、教程和youtube视频都只教你如何使用OpenAI做事。但老实说，这相当令人沮丧。首先，所有人工智能模型的基础都来自学术界：其次，我不敢相信，当有一个大社区在幕后工作时，我们被迫去做事情。

在这里，我将展示如何在不使用OpenAI的情况下使用免费的Google Colab笔记本与任何文档交互（我将在这里介绍文本文件、pdf文件和网站url）。由于计算的限制，我们将使用Hugging Face API和完全开源的LLM来利用LangChain库与我们的文档交互。

作为指南的简介

我对文本生成背后的技术很感兴趣，作为一名工程师，我想进行实验。但作为一个人和一名教师，我认为了解人工智能的工具和思考工具更重要。

我强烈建议你阅读詹姆斯·普朗基特的精彩文章《论生成人工智能与不自由》。引用他的话：

技术真的是我们经常想象中的中立工具吗？即技术是我们发明然后决定如何使用的东西吗？

您是否在Angular模板中实现角色库访问控制？一种方法是通过*ngIf，但我不会选择该路径，因为它将在Angular模板中包含自定义函数，并且很难维护。正确的方法是使用Angular结构指令🚀.

什么是RBAC？

基于角色的访问控制（RBAC）是指根据用户在组织中的角色为其分配权限的想法。它提供了一种简单、可管理的访问管理方法，与单独为用户分配权限相比，这种方法更不容易出错。

实施

假设我们有一个具有3个属性的帐户接口：id、name和roles。角色是枚举类型的数组，可以表示我们的帐户可以具有的不同角色，包括ADMIN、USER、EDITOR、VIEWER。

欢迎来到人工智能的迷人世界，在那里，人与机器之间的通信越来越模糊。在这篇博客文章中，我们将探索人工智能驱动交互的一个令人兴奋的新前沿：与您的文本文档聊天！借助OpenAI模型和创新的LangChain框架的强大组合，您现在可以将静态文档转化为交互式对话。

你准备好彻底改变你使用文本文件的方式了吗？然后系好安全带，深入了解我们将OpenAI与LangChain集成的终极指南，我们将一步一步地为您介绍整个过程。

什么是LangChain？

LangChain是一个强大的框架，旨在简化大型语言模型（LLM）应用程序的开发。通过为各种LLM、提示管理、链接、数据增强生成、代理编排、内存和评估提供单一通用接口，LangChain使开发人员能够将LLM与真实世界的数据和工作流无缝集成。该框架允许LLM通过合并外部数据源和编排与不同组件的交互序列，更有效地解决现实世界中的问题。

我们将在下面的示例应用程序中使用该框架从文本文档源生成嵌入，并将这些内容持久化到Chroma矢量数据库中。然后，我们将使用LangChain在后台使用OpenAI语言模型来查询用户提供的问题，以处理请求。

这将使我们能够与自己的文本文档聊天。