什么是MLOps？

机器学习操作（MLOps）可以被视为软件开发操作（DevOps）中的一个子集挑战，后者包括用于简化公司软件交付流程的软件工程最佳实践和原则。

MLOps专注于ML驱动的项目和产品开发带来的独特挑战，特别是由于ML的新生状态、工件管理和再现性问题、独特的基础设施要求、对实验和监控的永久需求以及对数据域不稳定性的控制。

LLMOps代表“大型语言模型操作”，指的是在人工智能模型的整个生命周期中加快人工智能模型开发、部署和管理的专业实践和工作流程。

LLMOps平台可以提供更高效的库管理，降低运营成本，并使更少的技术人员能够完成任务。这些操作包括数据预处理、语言模型训练、监控、微调和部署。与机器学习操作（MLOps）一样，LLMOps建立在数据科学家、DevOps工程师和IT专业人员的合作基础上。

LLM，如使用GPT-4的OpenAI的ChatGPT和谷歌的BERT，代表了一类新的、更先进的
自然语言处理（NLP）模型可以快速回答自然语言问题、提供摘要并遵循复杂指令。

LLMOps平台将数据科学和软件工程带入一个协作环境，用于数据探索、实时实验跟踪、即时工程以及模型和管道管理。LLMOps自动化了机器学习生命周期中的操作和监控任务。

LLMOps与MLOps

由于LLMOp属于机器学习操作的范围，它可能会被忽视，甚至被称为“LLM的MLOps”，但LLMOp应该单独考虑，因为它特别专注于简化LLM开发。以下是机器学习（ML）工作流和需求随LLM而具体变化的两种方式。

LMOps

LMOps is a research initiative on fundamental research and technology for building AI products w/ foundation models, especially on the general technology for enabling AI capabilities w/ LLMs and Generative AI models.

近几个月来，大型语言模型（LLM）已成为自然语言理解和生成不可或缺的工具，在各个行业提供了广泛的潜力。然而，有效实施和管理这些LLM存在相当大的障碍。这就是LMOps（大型模型作战）进入画面的地方。LMOps包括简化LLM的实现、管理和优化的方法、工具和技术。在本文中，我们深入研究了LMOps的关键方面，包括蒸馏、微调和大型模型服务，以及大规模ML、GPU和加速器的结合如何增强LMOps。此外，我们将讨论T5X、PAX和威震天LM等LLM框架如何为LMOps的成功做出贡献，推动创新并交付卓越成果。

LMOps技术

蒸馏(Distillation )是一种旨在缩小大型语言模型的大小，同时保持其准确性的技术。通过在较大模型的输出上训练较小模型，较小模型学会模仿较大模型的预测。通过这一过程，较小的模型可以实现与原始模型相似的精度，同时占用显著较少的存储空间。蒸馏是在资源受限的环境中优化LLM部署的有效策略。

OpenDevin: Code Less, Make More

Call all LLM APIs using the OpenAI format. Use Bedrock, Azure, OpenAI, Cohere, Anthropic, Ollama, Sagemaker, HuggingFace, Replicate (100+ LLMs)

docs.litellm.ai/docs/

Call all LLM APIs using the OpenAI format [Bedrock, Huggingface, VertexAI, TogetherAI, Azure, OpenAI, etc.]

LiteLLM manages:

Touchscreen devices, including mobile phones and tabs, often use Android as their operating system. However, Android has found much broader applicability across devices and use cases in recent times.  

Not only does it hold a significant market share, but it is also one of the most widely used OS, specifically in smartphones. Android app developers are increasingly innovating in this field, developing new and varied apps offering different features for the users. 

Android is frequently used as the operating system for touchscreen devices, such as mobile phones and tablets. The applicability of Android across devices and use cases has, however, recently expanded significantly.