植物三维可视化研究-基因农业网

植物三维可视化研究

2015-03-10 | 作者: 刘丹 诸叶平 刘海龙 李世娟 许金普 | 标签: 植物三维可视化

农业数字化与可视化已成为当前农业创新研究的主要标志之一。在农业科学研究不断深入,计算机信息水平不断提高以及信息科学和农业科学不断融合的大趋势下,虚拟技术融合了计算机图形学、多媒体、仿真、人工智能、计算机网络、并行处理和传感器等技术,具有沉浸性、交互性和构想性等技术优势,从而使农业研究面临新的挑战及发展机遇,并将促进传统农业向现代农业的转化。作为农业科学研究领域的主要应用之一,虚拟植物的可视化研究在农林学、生态学、景观设计、计算机动画及计算机教学等领域有广泛的应用前景,在生长过程研究和自然景观再现方面具有十分重大的意义:①生长过程研究方面,可将三维可视化应用在植物的结构-功能模型领域。一方面,可从三维可视化的角度侧面体现植物各参数指标不同的模型作用的结果,使其模拟效果更直观、形象。另一方面,可以在一定程度上替某些代费时、费力及难于操作的试验部分,也可以减少实际产品研发的试验时间,降低生产成本,提高产品质量等。例如,利用虚拟植物生长模拟技术在虚拟大田环境系统条件下进行试验,可在任何时候模拟植物的相关生长试验,而不必拘泥于播种时节和过长的生长周期。在某种植物实际试验之前,先建立该植物的虚拟模型,并进行性能分析、模拟显示、三维可视化等操作,提前发现试验过程中可能存在的问题,从而提高其一次性成功的概率,缩短研发生产周期。②自然景观再现方面,虚拟植物生长模拟技术的研究在商业娱乐领域可用于制作逼真的实物展示及广告创意,也可体现在三维动画和电子游戏虚拟场景中,增加动画和游戏的逼真度和可观赏性。虚拟植物生长模拟技术的研究在农业生态景观模拟、科研农技推广和教学领域可通过制作数字农场、虚拟作物等,使受教群体能够直观清晰地在任意角度下观看植物的生长状况和动态生理过程,提高接受率。

植物的生长发育受基因、自然条件、人为因素等诸多影响,其生长过程复杂性高,进而对植物进行三维可视化比模拟建筑物及复杂物品形态等存在更大的难度。为此,国内外学者们制定了类型复杂、涉及面广的多种方案用以解决植物可视化模拟难的问题。本文总结了植物生长可视化领域的科研工作,综述了植物生长三维建模技术和植物生长三维可视化软件系统的研究进展,并对其发展趋势进行了展望。

1植物三维重建技术

植物生长可视化结合了计算机图形学和植物学等多个学科的知识,通过使用虚拟现实技术在计算机上模拟植物在三维空间的生长情况,一般是以植物个体和群体为研究对象,生成符合实际并能反映植物生理形态结构的植物模型,并能够将各阶段的三维模型通过计算机可视化展示出来的一种植物模拟技术。

按照三维重建侧重点的不同,植物生长三维建模技术主要归纳为基于模型图像和扫描数据集的三维重建。

1.1基于模型的植物三维重建

基于模型的三维重建方法是通过作物主要器官形态变化特征,提取作物生长过程规律,动态地模拟作物形态结构变化过程的建模方法。这类模型可以从生理生态上动态地模拟植物的自然真实生长过程,对于特定的植物,也可通过变换模型参数得到该植物的主要器官的形态结构。L-系统、参考轴技术为典型的三维重建模型技术。

L-系统,即“字符串重写系统(string rewriting system)”,由Lindenmayer首次提出,从生物学角度构建植物生长形态。为植物形态模拟提供一般框架的-系统,数学特性较强,利用形式化语言对植物的生长过程进行概括以及抽象,构造模型公式,将植物器官之间的拓扑结构表达出来。此后,Prusinkiewicz等将L-系统与计算机图形学结合起来,使其从最初的DOL系统逐步完善成能随机构造拓扑结构的随机L-系统、可调控参数完成植物灵活三维建模的参数-系统以及具备模拟植物相关性的上下文相关-系统;另外,由于植物持续生长模拟较困难,他们又提出了能够模拟具有植物生长环境信息交互作用的开放-系统。Honda等首次建立了能够实现树结构模拟的Honda模型。Fournier等改进了-系统,通过使用简洁的参数系统来描述小麦生长过程的三维模型,简化了原先复杂的参数获取过程。国内学者也运用-系统进行了适合我国农作物的模拟研究,在小麦、玉米、大豆和棉花等领域的研究进展比较突出。植物根系形态结构复杂、生长过程不可见等因素导致其三维建模的难度较大,结合-系统分别建立了小麦、玉米、大豆的根系生长分布模型,模拟了复杂根系的生长过程形态结构及其空间分布。植物的穗、花朵及果实等个体小、形态复杂等特征导致其三维重建困难。周云辉等、刘畅利用-系统原理分别构建了水稻稻穗模拟模型,较快速便捷地完成了稻穗的模拟,此类方法模拟的水稻稻穗相似度高,真实感强。廖桂平等、秦培煜等将Bezier曲面与-系统相结合,分别完成了油菜花和苹果花的三维重建。

参考轴技术也称自动机模型,是基于有限自动机(finite automation)的植物形态发生建模方法。该方法利用马尔可夫链理论和“状态转换图”(state transition graph)来描述植物的生长、发育及其死亡等自然过程,是第一个比较适合仿真植物生长过程的模型方法。在此基础上,Godin等建立了多尺度植物拓扑结构模型,从而解决了利用不同时间长度来模拟植物拓扑结构的问题;该模型结合了环境参数,比较符合植物的生长规律。参考轴技术是与植物生理生态模拟模型联系较密切的一种模拟技术,且能够较好地模拟高大植株。法国CIRAD基于参考轴技术建立的AMAP包含多个子系统,具有20多个基本结构模型,能够较好地完成对大型植物的模拟。针对结合植物生理生态过程和形态结构的植物反馈机制的构建,最有代表性的成果是中法研究人员联合开发的GreenLab系列模型,该模型采用双尺度自动机进行植物拓扑结构模拟,并模拟植株生物量的生产及其分配关系,且能模拟植物器官生物量积累和器官形态生成的关系,此模型弥补了AMAP系统在模拟植株的生理生态功能的欠缺。国内学者赵星等基于马尔科夫链发展了双尺度自动机模型,根据植物的生理生态特征,采用宏微观状态表示植物的拓扑结构,引入“同步生长机制”和“重复生长机制”模拟部分复杂结构,能有效完成具有生理生态学特性的三维建模。为了提高-系统的便利性和高效性,姜真杰等结合臭柏的生态特征提出了臭柏的双尺度自动机模型,该模型的可输入参数体现了明确的生物学意义,可理解性强,但对各类环境因素及节间生长比例参数还欠缺考虑。

1.2基于图像的植物三维重建

数码照相机及摄像机的普遍使用,使得植株个体及环境景象图像具备像素高、拍摄角度丰富以及图像获取便捷、成本低等特征。另外,图像遥感(image-based remote sensing)能够获取大视角、高解析度的景观图像,并能通过图像处理得到植株的参数序列,例如叶面积指数、植株数量估值、株型等,这就使得基于图像的植物三维重建研究的盛行成为了可能。

Quan等基于若干图像采用交互式编辑模拟了植物茎秆的重构,并设计了一个交互的,人工输入参数少的自动三维模型建模系统。为了在单幅图像内减少抖动及反射的影响,Zheng等通过将模拟背景作为调和函数以提高图像中植物根系片段精度,再通过调整参数使全局错误最小化来保证根系之间的连贯性。这种通过多幅图像进行根系三维模型重建方式能够较好的模拟天然根系的精细形态。在单幅图像研究的基础上,王传宇等利用数码相机采集目标植株器官图像,从多幅图像文件中提取EXIF信息并结合相机内外参数形成投影矩阵,再通过像素邻域SSD值匹配图像像素以获得视差图来重建田块景观,然后经由“集束调整”优化三维重建结果。这种基于图像的农田景物三维重建方法具有真实再现较好、重建过程简洁、自动化程度较高等优点。为了解决已捕获叶片的重建密度较低,且不能够通过用户自定义交互实现叶片群的难题,Bradley等利用少量图像以及经由叶片网格的多次迭代优化从而产生植物密叶的初始模型,并在重构过程中使用叶片形状数据统计模型对其三维叶片模型进行优化。该模型通过用户交互自定义的叶片群是基于全新的叶片格局和密度而合成的。杨亮等利用机器视觉从图像中获取叶片三维特征点,用B样条曲线拟合构建叶片边缘和主脉,并用Delaunay三角化建立叶片的三角化网格模型。这是一种基于多幅图像的植物叶片三维形态建模方法,但所构建的叶片网格曲面精确度不高,尤其是叶片中间的曲面较难准确地模拟。在植物三维可视化建模过程中,复杂器官的模拟精度往往不高,为此,Santos等将聚类分析方法应用于基于图像的三维植物重建过程。先使用一系列高解析度的植物样本图像结合SIFT算法和区域多角度立体技术来完成多角度立体植物重建;再利用平滑约束对密集点云进行分割,并通过分割片段的宽/长比率确定其特征从而进行分类得到叶片、节点甚至虚拟结构;最后使用NURBS曲线对植物叶片进行三维模拟。其真实照片与模拟结果对比如图1所示。

近年来,农业机器人研究发展较快,采摘、除草、剪枝等方面的机器人均采用由照相机或摄像机不同组合方式集成的机器视觉系统进行图像采集,进而对图像进行融合、分析处理及匹配等,从而识别植物器官并发出相关操作指令进行采摘、除草、剪枝等操作。Kise等在施药卡车前部安装双目视觉系统,对田间景物进行连续采集,并拼接、矫正及立体匹配多幅图像,最终获得了田间高解析度的全景3D景象,且对其内部植物进行高度图映射。Hayashi等研发的草莓采摘机器人的机器视觉系统,采用LED灯和三个彩色摄像机进行图像获取。其中间的摄像机用以确定果柄位置,两侧的摄像机则构成立体视觉系统对果实进行三维重建。Tarrío等通过使用辅助激光二极管装备,在利用摄像机获取的图像进行三维重建时,能够解决由果实邻接造成的左右图像对应像素的匹配问题。袁挺等根据黄瓜采摘深度信息的特征,通过建立基于灰度相关与极线几何相结合的匹配策略完成了黄瓜采摘点的立体信息匹配及三维重建。该方法还建立了光照分析的模型,能够在光照强度合理变化的条件下,实现近色系植物器官的图像识别。在机器人采摘领域,如何利用机器人视觉系统来识别果实与果梗并确定剪枝点、采摘点是机器视觉研究中最大的难点之一。为解决剪枝点不易确认的问题,贾挺猛采用阀值分割和形态学闭运算处理目标图像,利用Rosenfeld算法细化提取葡萄树枝骨架,再选用Harris算子检测树枝骨架图像中的芽点,在系统内部对葡萄树枝芽点部分进行三维重建,最终确定采摘点。同样,在采摘点领域,熊俊涛等利用模糊C-均值聚类法( fuzzy C-means algorithm)来识别图形中荔枝果实与果梗,利用数学算法确定荔枝的采摘点;在采摘点的立体匹配方面,他们采用了基于色调空间的彩色匹配法与极限约束法实现了采摘点的空间定位。

1.3基于扫描数据集的植物三维重建

传感设备及扫描设备如激光扫描仪、三维数字化仪等在农业领域的应用,使得植物植株的位置信息能够多角度,跨时间地获得,如获得植株冠层的三维位置信息,追踪植物生长过程的三维信息,获取植物各器官参数的动态数据等。这种方式获得的数据普遍存在数据量大、数据精度较低、配比难度大、模型复杂等特征,因此,从这批庞大的数据里提炼出能够表达植株主要器官的数据十分关键,也存在一定难度。方慧等将特定的旋转装置与基于结构光技术的三维信息采集系统相结合,能够快速无损地获得植物电云数据,并通过改进外部附加结构配准技术以提高点云数据匹配的精度、稳定性与处理速度,从而实现了植物三维形态结构的三维重建。

Loch等使用三维激光扫描仪获取叶片表面大量数据点集,采取线性三角法和CT(clough-tocher)技术进行叶片精确建模。Oqielat等也基于三维激光扫描仪获取的大量三维点数据,将RBF(radial basis function)与CT相结合以获得真实性更高的叶片三维模型。Grocholsky等利用激光扫描仪获取葡萄树的信息数据以建立葡萄树的三维模型地图,并通过将机器视觉测量葡萄树形态数据预测所得的冠层体积与人工测量的真实数据建立相互关系,通过多次迭代验证,从而确立葡萄树的冠层密度指数。为了快速有效地建立树木冠层的三维模型,降低原始点云数据的噪点影响,Raumonen等从不同角度扫描树木冠层并获取其点云数据,在进行冠层表面建模时,首先假设植物冠层局部平滑,通过将原始点云按其代表植物器官的几何特征进行标注并分类成不同器官的数据子集,从而使用特定子集对相应器官进行建模。

马韫韬等利用三维数字化仪进行田间原位监测,统计分析所获取的各叶片中脉的空间坐标,确定玉米器官的空间生长规律。孙智慧等基于点云数据进行植物叶片曲面重构,该方法首先对初始点云数据进行噪声点剔除和数据精简,其次采用 Delaunay 三角化来生成初始网格曲面,并优化处理网格曲面。该方法不仅能够在保证重构精度高和速度快等条件下,利用激光扫描生成的三维点云数据构建植物叶片的网格曲面,且能模拟萎蔫与枯萎等复杂形态。同样,在通过数据匹配、简化及去噪所得优质点云数据的基础上,为了提高植物叶片几何模型的精度,王勇健等提出了在优质点云基础上生产叶片网格并优化的基于三维点云数据的植物叶片建模方法,能得到精度较高的植物叶片网络模型,且模拟的黄瓜和玉米的葡萄叶片逼真度高。该方法获得高精度网格模型的代价是较大的数据量、较多人工输入参数等。此外,郭浩等利用体着色三维重建的方法获取变态根点云数据,并先将原始点云数据进行噪声、离群点去除及空洞修补,再提取变态根的构型参数以进行曲面建模,从而实现了胡萝卜和马铃薯根系的三维可视化。胡令潮通过对植物形态特征的点云图进行分析处理,研发了一种能提高植物三维信息长度精度和角度精度的基准体,并结合可视化类库VTK进行了植物点云可视化并对其进行了坐标变换、颜色映射等,能较好地完成对植物叶片三维形态的模拟。

2几何模型

在对植物进行可视化模拟的过程中,多以器官为单位,利用若干几何图形及其组合形式来构建对植物器官形态的模拟。准确、灵活的植物几何模型对植物建模具有重大意义,它不但能增强可视化的效果,也能辅助虚拟植物的功能模拟。

植物叶片一般采用曲面建模来模拟,而叶脉骨架不但是构建三维叶片模型的基础,也是后期利用参数约束进行光照和阴影渲染的圆柱体。 Sun等基于叶片脉络骨架,通过定义叶片边界,建立分层骨架叶脉序,并在叶域内通过叶脉骨架上的点将其连接起来等步骤建立了植物叶片三维模型。Rodkaew等利用-系统和遗传算法构建植物叶片几何模型,但该方法仅对具有对称叶脉结构的植物叶片模拟效率较高,对复杂叶片形态的模拟还不如意。为了解决叶片模拟方法复杂、难于理解以及操作难度系数大等困难,El-Latif等使用B样条方法确定叶片格局,利用叶片边缘标志性的四个点参数,并对这些点值进行优化,得到了一种比较简洁的植物叶片重构模型。但使用该方法模拟的植物叶片精确度欠缺,叶片自身形态的复杂性及变化大的特征、叶片模拟的形态精确度和真实度一直不高。为此,陆声链等通过B样条法对叶片边缘轮廓和主脉进行描述,用Delaunay三角化对叶片曲面网格化,并改进Loop细分规则的自适应细分以使叶片曲面更逼真,提出了一种较灵活的植物叶片三维模拟方法。B样条曲线能较好地模拟大部分植物叶片的轮廓,Delaunay三角化较好地解决了具有多个裂片的叶片曲面网格化问题,自适应曲面细分法能使构建的空间曲面更光滑以及能够对叶片曲面进行卷曲变形处理。在麦穗模拟领域,李梅等提出了基于等高线的三维重建以模拟麦芒,并在模拟麦粒、内稃和外稃时采用了球面变形的方法;经由此类方法模拟的器官可视化效果逼真度较高,但只是模拟了单一麦粒的形态,在麦穗花絮的排列等领域的研究还有待加深。赵丽丽等基于球B样条,通过观测分析草莓形态结构特征,并提取具备农学意义的参数,完成了草莓器官几何建模。

3植物生长可视化软件系统

随着植物生理生态模型和可视化模型的进一步研究,相应植物的可视化生长软件的研究也有较大发展。

由法国CIRAD建立的基于参考轴技术的AMAP系列软件,它包含多个子系统软件,具备不同的功能。例如,要应用于特定植物的生长发育模型领域的AMAPmod子系统;要应用于植物的三维可视化生长过程模拟领域的AMAPsim子系统,此系统可将植物的生长和死亡等生理生态特性与枝条拓扑结构结合起来;AMAPpara子系统主要是模拟环境对植物生长的影响,可模拟植物的向光性、枝条的相互碰撞等对生长发育的影响。德国开发了Xfrog软件系统,可将自身的特定图符组合起来产生植物形态模型;这些图符有单独的参数表以描述自身属性,可表示全局变量及功能函数、植物器官及其结构。Xfrog以枝条为单位对植物器官进行构建,与植物的实际生长特点有差异,但参数输入条理性好,可操作性强;Xfrog的文件还可被其他图像软件(如Maya、Rayshade等)调用,增加了模型库的复用性及可移植性。Zheng等研制了基于多幅图像对植物根系进行三维重建的软件系统,可应用于植物根系系统的生物学表现研究。该系统主要通过对完整描述整个根系的大量图片进行处理,提取图像中根系形态及分布状况,并从全局角度对图片链接的一致性进行了精度提升处理。该系统目前可对40多种植物根系进行三维描绘,绘制结果的质量和有效性均较高。近年来,三维数字化仪越来越普遍地应用于三维建模研究与应用中,各数字化仪配套的建模软件也逐渐为人们所熟知。如经常用于处理三维数字化仪采集数据的PiafDigit和VegeSTAR。PiafDigit获取目标植物的坐标及角度,在获取树体的拓扑结构时实现枝条的分支并记录单个测量点处的直径,从而得到具有分支层次且精细不一的枝干;进行枝条尺度测定过程中,能获得不同类型枝条其顶端和末端坐标,并记录枝条类型;测量叶片尺度时,可得到每叶片的倾斜、方位和旋转等角度。VegeSTAR能够将PiafDigit处理后的数据文件置于其他程序运行,从而得出树体的冠层结构;可在不同太阳高度下进行STAR值分析。

为了提高植物的生理生态特性与形态特征的耦合度,朱庆生等提出了虚拟植物可视化平台(IMAGEVP),利用计算机组件技术设计了可移植的支持植物器官模型、植物生理模型、三维模型渲染的系统。该系统将基于图像的建模技术与-系统相结合,既继承了 -系统拓扑表达能力强的优点,也利用基于图像的重构方法提高了模型的真实度与可控性。为了解决植物生长规则提取难度高,且不易逐日模拟植物生长等问题,诸叶平等结合3D动画、计算机组件技术和作物模拟模型开发了小麦三维可视化系统。该系统通过交互式输入必要参数,从而生成小麦每日生物量数据来模拟小麦的生长过程;该系统也能够动态演示小麦生长以及环境变化。基于我国北方地区较重要的小麦-玉米连作的种植方法,严定春等实现了基于协同模型的小麦-玉米连作决策支持仿真系统。该系统实现了基于生理生态过程的小麦及玉米的产量和品质的协同处理以及小麦-玉米周年连作的协同模拟。为了生理生态过程模型和形态结构模型能够较好地实现内在融合,刘慧等将水稻的生长模拟模型、形态结构模型和其虚拟现实模型及其策略分析模型等深度结合,实现了基于模型的可视化水稻生长系统的开发。除了常见的数据管理和生长模拟功能外,该系统实现了方案评估和时空分析等高级功能。

4三维重建方法及其可视化系统软件存在的问题

4.1三维重建方法


基于模型的三维重建方法通过分析总结植物的生长规律及其各时期形态结构特性,调整模型参数能够得到特定植物的形态结构,并逐渐演变为能够模拟植物个体间及外界环境的相互影响。根据植物种类不同,研究者们提出了相应物种的模拟模型以满足不同植物三维模拟可视化的需求。同时,基于模型的建模方法也存在一定的局限性:植物生长规律复杂,模型建立难度大且准确度有待提高;部分模型不适合高大植株的模拟;部分模型复杂,不利于编程实现或使用困难。基于图像的三维重建方法从植物形态三维可视化层面上利用多幅图像能够直观地显示植物的生长和形态建成。但目前还没有较合适的模型算法以实现大型植物的精确三维模拟。基于扫描数据集的三维重建方法所建立的模型真实度较高,但是如何提高点云数据的处理速度从而获取所需数据信息并简化模型是基于扫描数据集的三维重建方法需要解决的首要问题。

4.2植物生长三维可视化系统软件

目前,国内外学者在植物生长三维可视化系统及软件领域已取得较大成果,但还有待完善。包含多个子系统的AMAP系列软件在不同程度上从生长发育模型、植株拓扑结构、环境因素影响、水动力模型等多个侧重点出发模拟植物的三维可视化过程。但由于植物生长过程复杂,AMAP软件多应用于景观设计领域。植物生长三维可视化系统及软件总体上呈现出采用系统局部改进以完善植物生长的三维可视化过程及结果,且多侧重于单一植物的模拟,代码再利用率低,与其他植物可视化模拟系统集成难度高等局面。

5结语及展望

5.1三维重建方法的发展趋势


基于模型的三维重建方法使用过程中,植物生长规则的提取与三维重建是植物三维建模的关键因素和技术难点,优化生长规则模型仍然是未来研究的重要内容之一;基于模型的三维重建方法的优点在于将植物的生理生态模型和形态模型相结合,提高生理生态模型与形态模型的耦合度也是今后研究的重要内容之一。基于图像的三维重建方法随着电子技术的迅速发展,使基于图像的三维模型的多种图形图像处理技术能够被攻破,发展前景较广阔。基于图像的三维重建方法对计算机图形学等信息技术依赖程度较高,今后对图像获取、图像匹配算法以及数据处理拼接等方面的需求度会持续保持高涨。基于扫描数据集的三维重建方法随着各类扫描仪器的发展而流行,该类方法通过扫描仪器对目标植物进行扫描,后期自行处理或使用配套软件处理大量点云数据以完成对植物的三维重建。使用该类方法建立的模型真实度较高。降低各类扫描设备在进行信息采集过程光照等环境因素的影响,提高点云数据的处理速度以及精简模型等是今后研究领域的重要内容。

另外,不论是研究基于模型的三维重建、基于图像的三维重建还是基于扫描数据集的三维重建,都致力于将植物模拟模型与其可视化相结合,但其研究深度及有效性还有待提高。现阶段的研究成果表明,多数研究不是偏重于模拟模型,就是侧重于可视化表达,两者的综合研究表达还不是很理想。植物模拟模型所涉及的生理生态参数往往较多,也较复杂;而在三维重建及其可视化方面,部分因素不方便模型表达且表达输出的参数覆盖率低;这就决定了植物生理生态模拟模型与形态模型可视化的耦合研究具有极大的难度。植物生理生态模拟模型与形态模型可视化的耦合研究是植物三维可视化研究领域的机遇和挑战,也是今后研究的重点内容之一。

5.2植物生长三维可视化系统软件的发展趋势

随着信息技术的不断发展,植物三维可视化技术研究的不断深入,具备将生理生态与形态结构有机结合、操作简洁、人机交互友好、实用性强等特点,可方便集成各类植物模拟模型的植物三维可视化系统是今后大力研究的关键内容。此外,随着现今移动手持设备的普及和移动互联网技术的发展,具备在移动设备上运行并使用,分别适合研究人员及基础农业工作者的植物实时生长三维可视化系统应用是今后植物三维可视化系统便捷化、扁平化、移动化的必要基础。

参考文献略。原文链接:http://118.145.16.216/zgnykjdb/CN/abstract/abstract10474.shtml

来源:中国农业科技导报

相关文章