机械臂与LLM:关于具身智能Agent的一些尝试
前言
最近在做某个嵌入开发的外壳建模设计时,发现建模时需要测量各种零件和螺丝孔位等位置和尺寸的精确信息实在是麻烦,想着要是能有一个设备可以接入到 Agent 让 AI 借助外部工具完成这种繁琐的工作再结合目前的 blender mcp 进行自动化建模就好了。然后就发现了一个开源的机械臂项目(SO-101),其机械臂零件(除了舵机)都可以进行 3D 打印,而我手上正好有一台 3D 打印机(拓竹的 A1 mini),所以就想弄一个来验证自己的想法,毕竟具身智能是未来 AI 的下一个突破点(纯软件层面的 AI 模型可以说是趋近完美了,再加上目前如火如荼进行的 Harness 工程迭代,后续 AI 模型在软件工程方面取代人类已经可以预见;而具身智能则是 AI 介入物理世界的工具,打通具身智能的泛化应用则标志着 AI 在接管真实世界上具备了工程可行性)。
我的想法就是把机械臂接入到 Agent 中,由 Agent 来控制机械臂的运行,看看能不能借助 LLM 来实现具身智能的某种泛化能力(目前具身智能相关的专用模型——即世界模型的泛化能力有限,且我觉得收集数据进行模型训练是一个很枯燥的过程😂)。




