一、DBMS生成器DOMDG的形式化描述(论文文献综述)
郭欣彤[1](2021)在《大规模知识图谱的查询处理技术研究》文中研究表明知识图谱以结构化的形式描述客观世界中概念、实体及其之间的关系,将互联网信息表达成更接近人类认知的形式。知识图谱以其丰富的语义信息和强大的推理能力,为互联网时代的各种智能应用提供了高效的解决方案。知识图谱是人工智能的重要基石,高效地查询处理是其能够广泛应用的基础。知识图谱上的查询处理面临以下挑战:首先,知识图谱具有数据量巨大的特点,如何在分布式环境下高效地存储和索引上述大规模数据是亟待解决的问题;第二,知识图谱的查询负载多样,需要良好的划分算法在多样的负载中始终提供稳定的查询性能;第三,知识图谱既可以用关系数据模型表示,又可以用图数据模型表示,因此它天然地支持两种数据模型上的查询操作,这就需要针对不同查询的特点设计相应的查询处理算法。现有知识图谱上的查询处理技术存在种种缺陷,无法很好地解决上述问题。基于以上挑战,本文综合运用数据管理、算法学和计算复杂性的相关理论和技术,对大规模知识图谱的查询处理中的一系列重要问题进行了深入研究,主要研究成果总结如下:1.本文研究了知识图谱上的多查询优化问题。多查询优化问题是从一组查询中找出公共子查询,每个查询可以利用公共子查询的结果构建自己的结果。本文提出了一个新的多查询优化算法框架Leon。针对现有算法时间复杂度高的问题,本文提出了一个剪枝性能优越的公共子查询检测算法。它利用特征集合和triplet快速聚类相似的查询,再在每个聚簇中精确、高效地查找公共子查询。现有查询重写方法只考虑了公共子查询的结果个数,而在分布式内存环境下,计算代价和空间占用才更加重要。本文根据这两个因素定义了查询重写问题,并提出了一个近似比为ln|Q|+1的算法,|Q|代表查询个数,它总是选择代价最小的公共子查询进行重写。本文也提出了一个精巧的查询计划生成算法,它基于特征集合的基数估计方法比一般的基于谓词的方法更加准确,因此生成的计划更优。在真实数据集和生成数据集上的实验结果表明:Leon在单个查询上的效率与现有最快的基于内存的RDF查询引擎查询时间相当;引入多查询优化情形下,时间是基准方法的1/10。2.本文研究了知识图谱上的基于负载的动态划分问题。根据不断到来的查询更新底层数据划分,可以保证系统在面对复杂查询负载时总是能提供稳定的表现。本文证明了基于查询负载的动态划分问题是NP难的。现有基于负载划分的系统大多需要预先知道查询历史。本文提出了一个不需要查询历史,通过不断监测查询负载能动态更新底层数据划分的算法框架WISE。本文提出了一个新的频繁模式挖掘算法,它利用一个紧凑的数据结构query span来存储查询负载信息。为了加快query span的构建,本文提出了一个基于哈希的图同构检测算法。本文提出一个根据频繁模式生成迁移计划的算法。该算法决定移动哪些数据,以及向何处移动可以最大化迁移收益,同时每台机器上的数据量保持平衡。在多样查询负载上的实验结果表明:与其他基于负载划分的方法相比,WISE查询效率最高,能适应各种动态负载。3.本文研究了知识图谱上的正则路径查询问题。正则路径查询求解相连路径满足某个正则表达式的顶点对集合,是图上的基本查询,在金融、生物信息和社交网络中有着广泛应用。本文提出了一个能够处理正则路径查询的算法框架Leon+。现有正则路径查询处理算法大多依赖索引,索引的计算代价和空间占用巨大。因此,本文使用特征摘要图作为索引,它只需要线性的构建时间,空间占用小,主要用于查询处理时的剪枝和生成查询计划时的基数估计。为了减少查询处理时的通信代价,本文提出了一个基于特征路径的图划分算法。本文提出了一个高效、准确的两阶段查询处理算法,该算法的剪枝性能优越,可以大大减少查询响应时间。实验结果表明:Leon+在处理正则路径查询时性能优越,扩展性良好。4.本文研究了知识图谱上的多样化Top-k查询问题。在查询结果集中既考虑重要性,又考虑多样性,可以呈现给用户更有意义的结果。本文形式化定义了多样化Top-k查询问题,并证明它是NP完全的。现有算法时间复杂度为O(1/2kn2),近似比为2,其中n代表结果个数。本文提出了一个近似比为2,时间复杂度为O(kn)的算法DTopk-Base。为了进一步降低时间开销,本文提出了一种高效的启发式算法DTopk-Index,选择性地生成高质量结果。DTopk-Index的近似比上界为2/λ,其中λ ∈[0,1]是平衡重要性和多样性的系数。在真实和生成数据集上的实验结果显示:两个算法都能够高效地生成高质量结果集合。案例分析也说明了在查询结果中引入重要性和多样性可以提高用户满意度。
张星[2](2021)在《基于GAN的SQL注入漏洞挖掘技术》文中提出SQL注入漏洞是一种存在广泛、危害性大且增长迅速的Web安全漏洞,发生在代码和数据未分离且对用户输入参数未进行合法性校验的Web应用程序中。恶意用户在请求参数中构造的SQL语句会被数据库服务器正常执行,导致系统敏感信息被获取或篡改。传统的SQL注入漏洞检测方法采用随机策略根据已有的模板组合生成测试用例,生成的样本重复率高且和扫描目标相关性低,导致检测效率低下,耗时较长。基于机器学习的漏洞检测方法,由于漏洞数据敏感性和特殊性,存在获取困难数据量少的问题,导致模型训练出现过拟合或无法学习到特征。本文在传统的SQL注入漏洞检测技术的基础上,使用改进的GAN模型,提出了一种利用产生攻击数据的依赖项特征来指导测试数据生成的漏洞挖掘方法。为保证模型训练效果,验证所提出的漏洞挖掘方法,构建了一个基于真实数据的漏洞数据训练集。针对传统检测方法因随机策略产生大量重复样本而导致的无效请求多、检测速度慢、针对性差等问题,提出了基于GAN的SQL注入攻击样本生成方法。利用GAN的生成对抗思想,考虑攻击数据本身的特征和产生攻击数据的依赖项特征,对数据库类型、Web框架等依赖项进行特征提取与词法分析,抽象成特征向量,在模型训练时作为条件输入指导攻击样本生成,实现有针对性的生成SQL注入检测样本。实验结果表明,本文提出的漏洞挖掘方法可根据检测目标生成带有目标特征的检测样本,在检出量、请求有效率上均高于同类检测方法且时间开销至少降低50%。针对机器学习方法中SQL注入漏洞数据获取难及人工收集SQL注入攻击语句质量低,清洗困难的问题,本文利用开源SQL注入工具和历史注入结果提出了多种信息采集方案。针对人工收集SQL注入攻击语句质量低清洗困难的问题,移植SQLMAP攻击语句模版库和攻击语句生成模式,结合模型输入需求开发攻击语句生成工具,在保证样本质量的同时降低了人工数据清洗成本。最终共收集到6700条攻击样本数据。针对SQL注入漏洞敏感性导致的获取难问题,利用合法扫描本地漏洞站、攻防测试站得到的数据,构成了包含3300条漏洞数据的数据集,用户漏洞挖掘任务完成后获得的注入数据及结果也会加入数据集中并根据设定的训练阈值自动触发训练持续更新模型。实验结果表明,在基于当前构建的真实数据集上,SQL注入漏洞挖掘取得了良好的效果,检出率提高了10%。利用本文提出的方法,设计并实现了一个包含信息搜集、漏洞挖掘、数据存储、模型训练等功能的SQL注入漏洞挖掘系统,实现了站点特征提取、攻击数据生成、挖掘结果反馈、模型再训练。通过专业渗透测试技术人员在真实环境中的测试,该系统可以根据检测目标特征精准的生成SQL注入攻击语句,提升了SQL注入漏洞挖掘的效率,验证了所研究技术方案的实用性和可行性。
李昭[3](2021)在《面向云系统性能优化的学习增强设计研究》文中研究说明学习增强系统设计是指在传统的云系统架构中引入机器学习(machinelearn-ing/ML)或深度学习(deep learning/DL)框架形成的新的系统框架,旨在传统方法的基础上进一步的提升云系统的性能和自适应性。具体而言,伴随着互联网服务的快速发展,用户服务质量要求的不断提升,云服务商服务的业务、承载的数据流也更加多样。复杂多变的系统环境为性能优化如动态参数调整、路由调度优化、增强负载平衡等问题提出了新的挑战,即便在相同的框架下,针对不同的业务和数据流,其系统状态和优化方案也不尽相同。传统的优化解决方案通常需要对具体的业务场景有非常专业的知识,导致在迁移性、扩展性和自适应性上仍然有一定的局限性。近年来,随着人工智能研究的快速迭代,机器学习和深度学习技术展现出了优异的抽象建模能力,为系统状态建模和系统性能优化方案提供了新的思路。通过观察收集系统行为和数据流信息,对系统行为、系统数据流进行抽象拟合,从而更好的实现系统性能优化。然而,由于ML/DL模型具有天然的不确定性,而系统有着极高的可用性要求,直接简单的收集历史数据,将模型套用在系统场景中并不能有效的解决性能优化问题,且难以部署在真实的生产环境中。本文旨在设计实现适用于系统性能优化目的学习增强系统工具链。为了使系统优化任务场景和人工智能的数据收集、模型推理、训练组合与测试更好的协同,我们开展了一系列的研究。我们首先从真实系统需求出发,探究数据采集策略,设计具体的优化方案;之后,我们提出了通用性更强的模型自动组合建模策略;最后,为了帮助开发者理解模型行为并对目标模型进行测试,我们设计了基于误差分布的黑盒模型测试工具。本文主要研究包含了下述四个部分:(1)面向系统参数优化的学习增强设计。端到端的参数优化是经典的系统性能优化任务之一,通过对框架中的开放参数进行配置调整,从而实现对关键系统性能指标的优化。然而,参数调整需要等待系统启动并稳定后才能收集到有效数据,而且性能指标(例如吞吐、延时等)容易受到外因影响而产生噪音导致度量不准确。为了解决采样耗时长、采样性能评估有噪音的问题,我们提出了 Metis——一个基于贝叶斯优化的鲁棒性强的参数优化服务。我们设计了噪音点检测和组合型采样方法,从而在有噪音环境下能够主动采集到有效信息。我们在真实的BingAds的IDHash缓存的尾端延迟优化任务中对本文所述方法进行验证,结果证明,在相同采样数量下,我们的方法相比于其他采样法给出了尾端延迟更低的参数组合方案。(2)面向优先级调度的学习增强设计。端到端的实时调度任务是我们在传统系统任务中的另一项探索。实时调度任务的性能评估包含了调度算法开销和后端任务执行开销。因此,在具体调度时需要考虑二者的协同以获取最优效果。为此,我们实现了基于深度学习的序列调度工具LearnedRanker,利用输出权重作为调度优先级并设计模型结构的自动调整以最优化端到端的延迟。另外,为了最大化调度模型性能,我们实现了基于梯度的主动数据生成和剪枝压缩技术。我们在基于正则表达式的规则检验任务中进行序列优化,以提升规则检验速度。在两个真实的规则检验集合(CRS和Snort)和三个常见的规则检验框架(PCRE,RE2和HyperScan)中将我们的序列优化算法作为插件验证LearnedRanker性能,结果表明我们的方法相比于静态算法和传统调度方法,能够大幅缩减整体时延。(3)学习增强系统设计与运维。尽管机器学习和深度学习为优化系统设计和性能提升提供了新的可能性,传统系统优化领域的探索告诉我们仅仅依赖现有的ML/DL算法并不能真正的实现学习增强的范式转变。为此,我们报告了在微软的研究和解决生产环境下部署学习增强系统所积累的经验,并提出了 AutoSys框架,AutoSys框架将学习增强系统的开发过程进行统一。它解决了一些常见的设计问题,包括ad-hoc或非确定性作业、由于模型不确定性导致的系统故障以及可扩展问题等。此外,我们通过一个真实的生产系统WebSearch来展示应用AutoSys的优势。最后,我们分享了这几年来在设计和使用学习增强系统过程中所产生的难以预料的影响以及我们获取的经验教训。(4)基于误差分布的性能预测模型测试工具。在新的系统、框架、版本上线前都需要经过反复的测试以确保系统的稳定和安全。而学习增强系统中的学习参数构成的模型几乎是一个黑盒子,复杂、难以理解且具有天然的不确定性。潜在的错误决策会造成性能下降、阻塞甚至系统崩溃。这一问题阻碍了学习增强系统在真实生产环境的部署。传统的模型测试通过对抗生成或随机扰动的方式生成使模型决策错误的样本。而孤立的样本点集合不能反映出模型在整个数据空间的整体水平,容易产生测试结果覆盖不足的问题。因此,我们提出了 Tapio,一个基于误差分布拟合的测试工具,通过最小化最大不确定性区域面积的方法来快速拟合全局误差分布。由此将已训练模型的全局表现水平展现给开发者,帮助开发者对模型进行微调或学习框架进行约束,以实现学习增强系统可靠性提升,推动其在真实场景下的部署。我们在RocksDB和Azure VM两个不同的场景下,对其性能预测模型进行测试。我们验证了 Tapio可以有效的帮助RocksDB的写吞吐性能提升,Azure VM的预测准确率提升。
王维扬[4](2020)在《基于web应用模型的二阶SQL注入测试用例集生成》文中进行了进一步梳理Web应用在当今社会的各个领域被广泛使用,虽然它为人们的生活带来了巨大的便利,但同时也带来了许多安全隐患。SQL注入漏洞一直以来都是威胁web应用安全的主要问题之一,其中的二阶SQL注入漏洞相较于一阶SQL注入更加隐蔽而且威胁更大,对其检测通常依赖于测试人员的先验知识与经验。目前针对二阶SQL注入漏洞现有检测方法具有使用环境受限和检测效率低下等问题。为了解决这些问题本文提出了基于web应用客户端行为模型的二阶SQL注入测试用例集生成方法,主要研究内容如下:1、对二阶SQL注入漏洞结构和形成原理进行了详细分析,给出了客户端行为模型定义,建立了客户端行为模型与web应用测试用例之间的关系,为后续研究打下基础。2、定义了迁移Topo图,用以描述导致测试用例集触发漏洞的迁移应满足的执行顺序和关系,并提出了一种基于运行时检测技术的Topo图生成方法。该方法首先生成初始测试用例集并执行,以得到迁移与SQL语句之间的映射关系,然后通过分析SQL语句之间的依赖关系来生成Topo图。3、提出了基于Topo图的测试序列生成算法。为保证测试用例中攻击向量的多样性,设计了巴科斯范式表示的攻击向量自动化生成规则,且为降低规则的复杂度,对巴科斯范式进行了改进,用以提高攻击向量生成效率。对本文提出的方法,在多个研究领域常用的web应用上进行实验,并将本文的方法与现有主流检测方法进行了比较。实验结果表明,本文的方法能够有效的检测出漏洞并且优于现有的主流二阶SQL注入漏洞检测方法。鉴于二阶SQL与存储型XSS漏洞原理相似,本文将该方法应用到存储型XSS漏洞的检测中,并进行了相关实验,实验结果表明该方法同样能有效的指导存储型XSS漏洞的检测。
王丙利[5](2020)在《数据库安全模型验证测试系统的设计与实现》文中研究表明数据库作为信息存储和处理的基础软件,其安全性对于敏感信息的保护至关重要。对数据库管理系统进行安全功能测试的重要任务之一就是对其进行安全模型的验证测试。安全模型是安全策略的表达,其为数据库管理系统实现安全功能提供了一种框架。测试时,需要根据安全模型的要求编写相应的测试用例,并使用测试用例来检测数据库管理系统内部数据流走向是否符合其设计之初所依赖安全模型的安全要求。依据安全模型生成数据库安全性测试的测试用例,对于提高测试效率,保障数据库管理系统的安全性具有重要意义。首先分析了数据库安全模型验证测试系统的需求,通过需求设计系统的总体结构,包括安全模型管理模块、测试模板生成器、测试用例生成器、测试报告生成器和模型数据管理模块。安全模型管理模块为用户提供了安全模型的录入与展示功能,用户可以新建、扩展和查看安全模型;测试模板生成器通过解析用户输入的转换规则的执行条件来自动化生成测试模板,首先编辑生成测试模板用到的若干基本测试脚本,并为执行条件和基本测试脚本建立对应关系,系统每解析一个条件都会读取与其对应的基本测试脚本,并将脚本添加到存储测试模板的变量中,系统会为每个条件设置符合和不符合条件的两个测试场景,以此来保证生成的测试模板能够覆盖到规则所有的执行条件;测试用例生成器的主要工作是将测试模板中的变量替换成具体的值,并利用测试模板为所有的数据库操作-客体组合生成对应的测试脚本,在替换变量时也会对脚本进行特殊情况的处理,比如依赖客体/权限的处理,从而保证最终生成的测试用例逻辑正确且能够覆盖数据库中所有的操作客体;测试报告生成器包括测试用例的执行和测试报告的生成,系统根据脚本的测试结果生成测试报告,并将其放入指定目录中供用户浏览;模型数据管理模块为用户提供了一个管理后台数据库的可视化界面,用户可以对后台数据库表进行管理,包括数据的增删改查。将系统的测试结果与预期结果进行对比,结果表明,系统能够为用户提供正确的、较为全面的安全模型及模型数据的管理功能;针对用户录入的安全模型,系统能够为其生成具有较好正确性和覆盖性的测试用例,并且可以使用生成的测试用例来对数据库的安全模型进行验证,最终生成的测试报告内容全面、清晰易懂。
李宇明[6](2019)在《数据库系统性能评测与质量管理》文中研究指明数据库管理系统作为重要的基础软件,广泛应用于金融、通讯、电商等领域的关键应用中。近年来,互联网的快速发展催生了大量的新型应用,同时传统应用也在快速演变。在新应用的驱动下,数据库系统得到了快速的发展。本世纪初兴起了No SQL数据库,如今New SQL数据库扮演着越来越重要的角色,目前知名的数据库系统已超过300个。此外,伴随着新硬件的发展,数据库系统的设计有了更多的选择,系统架构也在不断地重构。持续涌现的新应用、快速迭代的新系统对数据库系统的性能评测与质量管理带来了新的挑战。一直以来,评测基准是衡量数据库系统性能的一把尺子,引导着数据库系统的发展方向。但评测基准是对一类应用负载的抽象,服务于通用性的性能评测。对于一个特定应用,尤其是一个新型应用,由于评测基准的负载与实际应用可能差异巨大,因此其评测结果或许不具有指导意义。传统的测试数据和测试负载生成技术,由于生成数据和生成负载的应用弱相关性,基于其得到的评测结果对于特定应用来说可能不具有参考价值。同时,对于数据库系统的质量管理来说,评测基准负载是相对有限的,而当前测试数据和测试负载的生成技术也无法实现大规模事务负载的自动化生成,因此数据库系统对于事务型负载,尤其是高压、高冲突的事务型负载,难以得到充分评测。针对上述数据库系统的性能评测和质量管理问题,本文实现了新型的面向应用的数据库性能评测技术和大规模事务负载的自动化评测技术。本文的主要贡献总结如下:1.面向分析型应用的数据库性能评测技术。本文设计并实现了Touchstone系统,以支持负载感知的测试数据库生成和查询实例化。在Touchstone系统中,提出了一种新型的查询实例化机制,基于属性值的数据分布,利用二分搜索和随机采样算法快速定位符合基数约束的查询参数值。为实现测试数据库的并行生成,该系统设计了新型数据结构约束链和连接信息表来解耦属性之间的关联关系。为降低内存消耗,该系统提出了一种高效的连接信息表压缩算法,在不影响生成数据质量的情况下保证了内存消耗的可控性。2.面向事务型应用的数据库性能评测技术。本文设计并实现了Lauca系统,以支持面向事务型应用的模拟负载生成。在Lauca系统中,首次给出了事务型模拟负载生成中需要关注的关键负载特征。Lauca提出了利用事务结构信息和参数依赖信息来定义事务逻辑,以刻画应用负载中潜在的业务逻辑。为捕获目标负载数据访问分布中的倾斜性、动态性和连续性,该系统相应提出了倾斜数据访问分布、动态数据访问分布和连续数据访问分布。最后,Lauca在架构设计上保证了对生产环境中数据隐私的保护。3.大规模事务负载生成与执行正确性验证技术。本文设计并实现了Thor系统,以支持大规模事务负载测试案例的生成与执行正确性的验证。为生成全面且可控的随机事务负载,Thor抽象了一组基础数据库操作,通过在指定空间随机组合,生成大规模事务负载。为实现高压、高冲突事务负载下数据库的正确性验证,该系统提出了基于事务执行历史的异象和异常检测算法以及读结果集正确性验证算法,高效实现了数据库隔离级别的正确性验证。此外,Thor的系统设计保证了在海量事务执行历史下验证过程的低内存消耗。综上所述,本文针对数据库系统性能评测与质量管理中存在的问题,设计并实现了Touchstone、Lauca和Thor三个系统。首先,为解决面向分析型应用的数据库性能评测问题,Touchstone系统实现了高效的查询实例化和完全并行的测试数据库生成;其次,为解决面向事务型应用的数据库性能评测问题,Lauca系统能够生成与实际应用负载高度相似的模拟事务负载;最后,为解决数据库系统针对事务型负载测试不充分的问题,Thor系统支持大规模事务负载的自动化生成,并可对高压、高冲突事务负载下数据库的隔离级别进行正确性验证。本文通过大量实验验证了各个系统的有效性。未来的工作包括:进一步完善三个系统的外围工具,并进行开源和推广使用,其中Touchstone和Lauca系统已被引入Ti DB的质量管理体系;构建海量的测试案例库以支持数据库系统的自动化评测。
兰丽娜[7](2019)在《物联网资源管理服务关键技术研究》文中研究指明物联网将物理世界网络化、信息化,对传统的分离的物理世界和信息空间实现互连和整合,目标是达到更透彻的感知,更全面的互联互通和更深入的智能化,代表未来网络的发展趋势。目前,大量多源异构的物联网感知设备大多采用专用的接入方式和专门的应用系统进行互通,形成竖井式应用模式。这种竖井式应用模式造成大量的感知资源和数据难以共享和重用,物联网应用服务之间互联互通困难,难以实时动态协同,难以支持大规模的更智能化的物联网应用服务。本文针对物联网资源管理、物联网服务提供等关键技术进行深入研究,取得如下成果:1.针对物联网服务提供面临的感知信息按需分发及异构服务系统间的服务协同执行问题,提出了一种新的事件驱动的面向服务的物联网服务体系架构(EDSOA)。该架构融合事件驱动架构(EDA)和面向服务架构(SOA),基于消息总线实现感知信息的按需分发,基于事件驱动实现服务动态协同执行。该架构中消息总线采用易扩展的分布式基于主题的发布订阅消息系统,消息的发布和接收都采用Push方式,保证消息传送的实时性和保序性。该架构基于隐式的事件链驱动服务执行,相比传统SOA基于预先编排的请求响应服务流程执行更灵活,能较好地适应动态变化的物联网环境。最后通过一个物联网应用系统一智慧城市道路井盖监控系统验证了该架构的有效性,并通过实验证明了在并发服务执行上EDSOA架构比传统SOA架构执行速度更快,具有性能上的优势。2.针对物联网竖井式应用模式带来的资源共享困难,以及异构感知设备统一接入问题,提出了一种基于边缘计算的物联网异构感知设备统一接入平台。该接入平台部署在临近感知设备的网络边缘,以支持物联网应用的快速响应,并为敏感数据提供有效的隐私保护。提出了一种通用的基于本体的物联网资源描述模型,为云计算中的物联网应用提供异构感知设备的一致视图。基于该模型,提出了一种异构感知设备自适应接入方法,为智能化程度不同的感知设备提供统一的接入、控制和管理。该接入平台将物联网的竖井式应用模式转变为水平式应用模式,支持物联网应用对感知设备和资源的共享和重用。最后通过一个智慧城市道路井盖监控系统应用案例验证了资源描述模型和自适应接入方法的有效性,并通过实验证明了该接入平台具有良好的性能以及采用边缘计算的性能优势。3.针对物联网实时监控应用大数据处理中的事件可重构和实时处理性能两个关键问题,提出了一种通用的复杂事件处理(CEP)机制。首先提出了一种包括原始事件、简单事件和复杂事件的形式化的分级复杂事件模型,降低了复杂事件建模的复杂度。该模型支持复杂的时间和空间语义,支持以编程的方式灵活定义复杂事件。在此基础上,提出了一种基于边缘计算的CEP系统架构。该系统部署在终端感知设备与云端应用之间的网络边缘,为局域数据处理提供更快的响应。该系统将复杂事件定义映射到CEP规则逻辑脚本,可及时检测出潜在的异常事件。该CEP机制具有通用性,适用于各种异构感知设备和CEP引擎。通过两个物联网监控应用实例验证了复杂事件模型的有效性,并通过实验证明了该机制可显着提升CEP系统整体性能。4.针对物联网时间序列数据实时处理要求,提出了一种轻量级的嵌入式时序内存数据库(TSMMDB)。首先,基于业务模型提出了一种树形的物联网感知数据模型,叶子节点采用基于时间、资源、度量的三维表结构,索引采用多层嵌套的红黑树。数据存储按照时间进行分割,同一个文件中包含数据和相应的索引信息,并采用灵活的数据局部性内存分配机制,获得更好的实时处理性能。然后,提出了定制的虚拟堆和虚拟堆内存分配器,基于共享内存,将物理内存页面在进程间共享,使得应用程序可以在自己的进程空间中访问整个数据库中的数据,不再受限于传统的数据库进程间通信方式。内存数据库的数据对象,基于内存映射机制自动实现对象持久化。进一步,提供基于大粒度锁的数据访问并发控制机制。该内存数据库数据存取算法具有较好的时间复杂度,实验结果表明该内存数据库相比传统的内存数据库和基于磁盘的关系数据库具有更好的性能。
王瑛琦[8](2018)在《面向关系数据库的关键字查询技术研究》文中认为随着互联网和信息技术的快速发展,信息呈现爆炸式增长趋势。数据库作为组织、存储和管理结构化数据的主要方式,在商业智能、企业资源管理乃至个人日常生产生活等领域得到了广泛应用。有关数据库的查询访问需求也与日俱增。传统的结构化查询方式(例如SQL语句)需要用户掌握专业的查询语言并且熟悉数据库复杂的底层模式,给数据库的查询访问工作带来了诸多困难与不便。在此研究及应用背景下,面向关系数据库的关键字查询技术应运而生,并引起数据库社区及研究人员的广泛关注。应用该技术,用户仅需提交若干关键字即可完成查询工作,大大降低了数据库的使用门槛,具有良好的应用前景。近年来,在关系数据库关键字查询方面涌现出大量研究成果。但是,由于关系数据库具有不同于Web和传统IR系统的结构特点,该领域的研究仍面临许多困难和挑战。例如,查询预处理机制的缺失,无法有效填补非结构化查询与结构化数据间的信息鸿沟;查询算法中频繁的多表连接操作,使得查询效率无法得到良好保障;缺少一种高效的排序机制,实现查询结果的自动化排序过程。因此,针对现有研究存在的不足,本着对已有方法进行改进、完善和发展的目的,本文从模式抽象、查询扩展、查询优化、结果排序等研究视角出发,解决了关键字查询相关方法及应用系统中存在的具体问题。总体而言,本文的研究主要包括以下4个方面:首先,针对现有模式抽象方法考虑因素单一、抽象结果准确率偏低的问题,对关系数据库模式抽象方法进行研究。提出了一种基于图划分策略的模式抽象方法GP-RDSS(Relational Database Schema Summarization based on Graph Partition),帮助用户在大型数据库中快速且准确地掌握相关信息。具体而言,(1)从结构紧密性、内容相似性两方面出发构建表间相似性矩阵,并通过挖掘查询日志信息对矩阵进行修正,使其度量综合全面、更具合理性;(2)提出固有重要性和依赖重要性的概念,形式化定义表重要性度量方案,能够对表重要性进行准确度量;(3)提出模式抽象算法,该算法将图划分策略和数据库自身特点巧妙结合,同时考虑用户查询偏好对模式抽象过程的影响,使模式抽象结果得到进一步提升;(4)在数据集TPC-E上进行实验,通过与现有模式抽象方法的对比,验证了本文方法的有效性和可行性。其次,针对关键字查询方式中存在的语义模糊及表达能力受限等问题,对关系数据库关键字查询扩展方法进行研究。提出了一种基于查询推荐及解释的查询扩展方法ReInterpretQE(Query Expansion Based on Recommendation and Interpretation)。具体而言,(1)查询推荐阶段,基于词相关性矩阵和动态规划思想构建查询推荐模型,将原始查询转换为关键字查询列表;(2)查询解释阶段,基于数据库统计信息及模式图,完成关键字查询到查询子图间的映射,该子图不仅包含与原始查询语义相关的内容信息,还包含关键字间潜在的结构信息;(3)在公开数据集DBLP上进行实验,结果验证了本文查询扩展方法的合理性及有效性。再次,针对现有查询方法需要在线进行表连接而导致查询效率较低,且无法适用于大规模数据库的问题,对关系数据库关键字查询方法进行研究。提出了一种基于主题类簇单元的离线方法TCU-Based查询(Query Based on Topic Cluster Units),适用于结构复杂的大规模关系数据库。具体而言,(1)形式化定义了主题类簇单元的概念,通过对数据表及元组进行垂直分组和水平分组,离线构建主题类簇单元集合并将其作为查询应答;(2)设计一种基于遗传算法的表连接优化方案,降低预处理时间开销,并基于关联规则算法提出索引优化机制提高查询效率;(3)在公开数据集Freebase上进行实验,结果表明该方法在查询效率和准确率方面显着优于传统关键字查询方法。最后,针对传统排序方法中影响因子权重需要人工手动设置而导致排序准确率较低的问题,对面向关系数据库的排序方法进行研究。将学习排序模型引入关系数据库领域,提出了一种虚拟文档列表级的并行学习排序方法PARR-H(Parallel AdaRdbRank-Hierarchy)。具体而言,(1)构建全局特征关联图,并在此基础上提出一种分层式弱排序器构建策略;(2)提出一种列表级学习排序算法ARR-H(AdaRdbRank-Hierarchy),并基于该算法进行并行化扩展研究,构建并行学习排序框架PARR-H,使排序准确率和训练效率得到良好兼顾;(3)分别在数据集OHSUMED、WSJ和AP上进行实验,实验结果表明本文学习排序方法PARR-H在排序有效性和训练效率方面均有显着提高。
钱卫宁,夏帆,周敏奇,金澈清,周傲英[9](2015)在《大数据管理系统评测基准的挑战与研究进展》文中进行了进一步梳理数据库评测基准在数据库发展历史中的作用不可替代,而大数据环境中传统评测基准不敷应用。因此,从评测基准3要素,即数据、负载、度量体系入手,研究具有高仿真性、可适配性、可测量性的大数据管理系统评测基准,对大数据管理系统的研发和应用系统选型至关重要。基于此,在简要分析评测基准的基本要素和大数据管理系统发展过程的基础上,重点分析大数据管理系统的基准评测需求与挑战,然后通过社交媒体分析型查询评测基准BSMA,探讨了面向应用的大数据管理系统基准评测的设计和实现问题。
骆涛[10](2015)在《面向大数据处理的并行计算模型及性能优化》文中研究指明随着大数据时代的来临,从并行机体系结构、计算资源扩展能力到工业界应用模式都在发生显着变化。上述变化为并行计算提供新的发展机遇,同时也带来巨大的研究挑战。其中架构在硬件和软件之间的并行计算模型是推动大数据发展的核心技术之一。目前工业界已经研究和开发多种大数据编程模型,并广泛应用在TB级甚至PB级的数据处理与分析上,而学术界正在尝试和探索更抽象的大数据计算模型,来反映当前并行机的属性,揭示大数据任务中计算、通信和访存行为的本质特征,对各种主流大数据处理系统进行统一的理论分析,从而指导大数据应用调优。本文从传统并行计算模型、大数据编程模型和大数据计算模型的相关研究中,总结出大数据计算模型在理论上需要解决的三个基本问题:模型的三要素(机器参数、执行行为、成本函数)问题、扩展性与容错性问题和性能优化问题。本文围绕着这三个问题,一方面从理论上研究大数据计算模型及其性能优化方法,另一方面在实际的大数据案例中应用这些性能优化方法。具体而言,本文的主要研究内容、贡献和创新点可概况为以下几点:1.抽象出一个大数据计算模型:提出了一个面向大数据处理的并行计算模型p-DOT。 p-DOT模型分为p阶段,每个阶段都由数据层D、计算层O和通信层T共同组成,采用矩阵的形式化描述;选取输入数据规模w和机器数n作为主要的两个参数,依照模型所定义的计算、通信和I/O行为共同构造出时间成本函数,并以此推导出对一个给定的大数据任务和给定的环境负载,任务最短运行时间所需的机器数n*和输入数据规模的开方√w成正比。同时,p-DOT模型具有扩展性和容错性,对于一个软件框架,如果其任何一个任务均可用p-DOT模型表示,那么该框架的处理范式是可扩展和可容错的。2.证明模型的成本函数、扩展性和容错性:对于时间成本函数,通过对机器内存大小、机器数和任务执行时间的限制,使构造出的函数更接近于实际,并通过大规模的MPI和MapReduce实验证明该函数及其推论的正确性:对于扩展性,采用传统并行计算性能评测标准中的等效率函数,证明了基于p-DOT模型的处理范式是可扩展的,但不是强可扩展的;对于容错性,在输入数据D都存放在永久性存储设备的前提条件下,证明了基于p-DOT模型的处理范式是可容错的。3.设计基于模型的优化方法并应用:针对p-DOT模型的数据层D、计算层O和通信层T,分别设计了利用数据复本、利用多核技术和利用部分同步策略的性能优化方法。一方面,从理论上证明了1)利用数据复本不仅是大数据任务容错性的必要条件,也能有效地提高任务的I/O访存性能;2)利用多核技术能在不增大通信开销的同时,有效地提高任务的计算性能;3)在任务的收敛条件与原始的不超过阈值θ时,利用部分同步策略能有效地提高任务的通信性能。另一方面,选择了三个实际的大数据案例1)地震前兆台网系统中对关系型地震大数据的查询服务、2)人脸识别系统中利用SVM线性分类器的训练问题、3)深度学习系统中利用卷积神经网络的训练问题,在案例中应用基于模型的优化方法来提升性能,并通过实验证明优化后的加速性能。
二、DBMS生成器DOMDG的形式化描述(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、DBMS生成器DOMDG的形式化描述(论文提纲范文)
(1)大规模知识图谱的查询处理技术研究(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 研究背景 |
1.2 国内外研究现状 |
1.2.1 知识图谱的表示模型和查询语言 |
1.2.2 关键术语 |
1.2.3 知识图谱的数据管理 |
1.2.4 分布式环境下知识图谱的数据管理 |
1.2.5 知识图谱的多查询优化工作 |
1.2.6 知识图谱的划分算法工作 |
1.2.7 知识图谱的正则路径查询工作 |
1.2.8 知识图谱的多样化Top-k查询工作 |
1.2.9 现有工作不足 |
1.3 本文的主要研究内容 |
1.3.1 大规模知识图谱的多查询优化技术 |
1.3.2 大规模知识图谱的基于负载的动态划分问题 |
1.3.3 大规模知识图谱的正则路径查询问题 |
1.3.4 大规模知识图谱的多样化Top-k查询问题 |
1.3.5 研究内容之间的关系 |
1.4 RDF查询系统的通用结构 |
1.5 本文的章节安排 |
第2章 知识图谱的多查询优化技术 |
2.1 研究动机 |
2.2 预备知识 |
2.3 编码和划分算法 |
2.3.1 特征集合和特征集合块 |
2.3.2 RDF编码和特征集合提取 |
2.3.3 基于特征集合的平衡划分算法 |
2.3.4 Leon中的基本操作 |
2.3.5 特征集合块的优点 |
2.4 公共子结构检测 |
2.4.1 SPARQL查询分解和粗粒度聚类 |
2.4.2 查找公共子结构 |
2.4.3 公共子查询检测算法实现 |
2.4.4 算法分析 |
2.5 查询重写算法 |
2.5.1 基本思路 |
2.5.2 算法分析 |
2.5.3 代价估计模型 |
2.6 实验结果 |
2.6.1 实验设置 |
2.6.2 启动时间 |
2.6.3 单查询性能表现 |
2.6.4 多查询优化的性能表现 |
2.6.5 可扩展性 |
2.7 本章小结 |
第3章 知识图谱的基于负载的动态划分问题 |
3.1 研究动机 |
3.2 WISE工作流程 |
3.3 SPARQL查询负载编码 |
3.3.1 查询预处理 |
3.3.2 频繁查询模式 |
3.3.3 Query Span |
3.3.4 Query Span的构建 |
3.3.5 算法分析 |
3.4 WISE的迁移管理 |
3.4.1 频繁模式挖掘 |
3.4.2 迁移计划生成 |
3.4.3 三元组迁移 |
3.4.4 查询负载改变时的应对策略 |
3.4.5 动态RDF数据集的应对策略 |
3.5 Query Span的扩展 |
3.5.1 谓词为变量的查询 |
3.5.2 顶点常量编码 |
3.6 实验结果 |
3.6.1 实验设置 |
3.6.2 Query Span的构建 |
3.6.3 与其他方法的比较 |
3.6.4 查询负载的影响 |
3.6.5 迁移代价 |
3.7 本章小结 |
第4章 知识图谱的正则路径查询问题 |
4.1 研究动机 |
4.2 预备知识 |
4.3 索引和摘要策略 |
4.3.1 特征集合和特征集合块 |
4.3.2 特征摘要图 |
4.3.3 特征摘要图的实现 |
4.3.4 特征摘要图的更新 |
4.4 基于特征路径的平衡划分算法 |
4.4.1 特征路径 |
4.4.2 特征路径划分模型 |
4.4.3 算法分析 |
4.4.4 从节点索引结构 |
4.5 正则路径查询处理算法 |
4.5.1 特征摘要图遍历 |
4.5.2 算法分析 |
4.5.3 在生成子图上进行查询处理 |
4.6 代价估计模型 |
4.6.1 基数估计 |
4.6.2 查询计划生成 |
4.7 实验结果 |
4.7.1 实验设置 |
4.7.2 特征路径的参数选择 |
4.7.3 预处理代价 |
4.7.4 正则路径查询的性能表现 |
4.7.5 特征摘要图对查询计划的影响 |
4.7.6 基于特征路径的划分算法对查询性能的影响 |
4.7.7 可扩展性测试 |
4.8 本章小结 |
第5章 知识图谱的多样化Top-k查询问题 |
5.1 研究动机 |
5.2 问题定义 |
5.2.1 RDF和 SPARQL |
5.2.2 多样化Top-k查询问题 |
5.3 DTopk-Base算法 |
5.3.1 算法描述 |
5.3.2 算法分析 |
5.4 DTopk-Index算法 |
5.4.1 第一阶段 |
5.4.2 第一阶段算法分析 |
5.4.3 第二阶段 |
5.5 多样性匹配生成算法 |
5.5.1 骨干索引 |
5.5.2 运行时的骨干索引 |
5.5.3 Find Match函数实现 |
5.6 实验结果 |
5.6.1 实验设置 |
5.6.2 骨干索引 |
5.6.3 有效性实验 |
5.6.4 效率实验 |
5.6.5 案例分析 |
5.7 本章小结 |
结论 |
参考文献 |
附录A 第4章用到的查询 |
A.1 LUBM的正则路径查询 |
A.2 YAGO2的正则路径查询 |
攻读博士学位期间发表的论文及其他成果 |
致谢 |
个人简历 |
(2)基于GAN的SQL注入漏洞挖掘技术(论文提纲范文)
摘要 |
ABSTRACT |
符号对照表 |
缩略语对照表 |
第一章 绪论 |
1.1 研究背景与意义 |
1.2 国内外研究现状 |
1.2.1 编码阶段防御 |
1.2.2 漏洞检测研究成果 |
1.2.3 漏洞挖掘研究成果 |
1.3 论文研究内容与贡献 |
第二章 相关技术研究 |
2.1 SQL注入技术 |
2.1.1 SQL注入攻击概述 |
2.1.2 SQL注入攻击原理分析 |
2.1.3 SQL注入攻击技术分类 |
2.1.4 SQL注入攻击流程 |
2.1.5 SQL注入自动化工具 |
2.2 生成对抗网络理论基础 |
2.2.1 GAN的基本原理 |
2.2.2 GAN的改进模型 |
2.2.3 GAN的应用 |
2.3 本章小结 |
第三章 数据采集与特征工程 |
3.1 SQL注入攻击语句采集 |
3.1.1 生成SQL注入攻击语句 |
3.1.2 收集SQL注入攻击语句 |
3.2 SQL注入漏洞站点信息采集 |
3.3 数据预处理 |
3.3.1 特征构建与选择 |
3.3.2 特征采集与处理 |
3.4 本章小结 |
第四章 基于GAN的 SQL注入漏洞挖掘方法 |
4.1 SQL注入攻击语句及相关信息向量化 |
4.1.1 SQL注入攻击语句向量化 |
4.1.2 SQL注入漏洞站特征信息向量化 |
4.2 基于改进GAN模型的SQL注入攻击语句生成方法 |
4.3 模型框架与训练方法 |
4.3.1 生成器模型 |
4.3.2 判别器模型 |
4.3.3 生成对抗网络训练过程 |
4.3.4 模型参数调整 |
4.4 实验与分析 |
4.4.1 实验环境 |
4.4.2 实验数据 |
4.4.3 评价指标 |
4.4.4 实验结果分析 |
4.5 本章小结 |
第五章 基于GAN的 SQL注入漏洞挖掘系统设计与实现 |
5.1 系统设计 |
5.1.1 系统设计目标与原则 |
5.1.2 系统架构设计与实现 |
5.1.3 数据库设计 |
5.2 功能设计与实现 |
5.2.1 用户交互模块 |
5.2.2 目标检测模块 |
5.2.3 SQL注入测试模块 |
5.2.4 SQL注入攻击语句生成模块 |
5.2.5 公共模块 |
5.2.6 各模块功能测试 |
5.3 系统环境 |
5.3.1 系统运行环境 |
5.3.2 系统开发环境 |
5.4 本章小结 |
第六章 总结与展望 |
参考文献 |
致谢 |
作者简介 |
(3)面向云系统性能优化的学习增强设计研究(论文提纲范文)
摘要 |
abstract |
第1章 绪论 |
1.1 研究背景与意义 |
1.2 国内外研究现状 |
1.3 本文研究内容 |
1.4 论文组织结构 |
第2章 相关研究工作 |
2.1 端到端的系统优化 |
2.1.1 参数优化服务 |
2.1.2 含参的系统框架 |
2.1.3 并发系统的调参工作 |
2.1.4 基于贝叶斯的调参算法 |
2.1.5 实时调度优化 |
2.2 自动化建模 |
2.2.1 自动模型生成与选择 |
2.2.2 模块化建模 |
2.3 正确性测试 |
2.3.1 软件测试 |
2.3.2 ML/DL正确性测试 |
第3章 面向系统参数优化的学习增强设计 |
3.1 研究动机与场景描述 |
3.1.1 场景实例:Bing Ads IDHash |
3.1.2 参数配置对系统性能的影响 |
3.2 Metis设计与实现 |
3.2.1 Metis框架概述 |
3.2.2 鲁棒性提升 |
3.2.3 Metis实现 |
3.3 实验验证 |
3.3.1 实验设置 |
3.3.2 Metis的有效性 |
3.4 案例研究:BingKV |
3.5 本章小结 |
第4章 面向优先级调度的学习增强设计 |
4.1 研究动机 |
4.2 LearnedRanker |
4.2.1 LeamedRanker框架概述 |
4.2.2 LearnedRanker核心方法实现 |
4.3 实验验证 |
4.3.1 实验设置 |
4.3.2 LearnedRanker性能评估 |
4.3.3 各组件基准测试 |
4.4 本章小结 |
第5章 学习增强系统设计与运维 |
5.1 研究背景与动机 |
5.1.1 WebSearch概述 |
5.1.2 系统复杂性 |
5.1.3 运维复杂性 |
5.2 AutoSys设计 |
5.2.1 AutoSys框架概述 |
5.2.2 API设计 |
5.3 生产环境评估 |
5.3.1 系统应用逻辑优化 |
5.3.2 排序引擎优化 |
5.3.3 数据存储优化 |
5.4 AutoSys经验总结 |
5.5 本章小结 |
第6章 基于误差分布的系统性能预测模型测试工具 |
6.1 研究动机 |
6.2 方法设计 |
6.2.1 样本生成器 |
6.2.2 等价类划分 |
6.2.3 GlobalLC |
6.2.4 维度切分 |
6.2.5 异常点检测 |
6.3 Tapio实现 |
6.4 实验验证 |
6.4.1 案例研究1: 测试RocksDB的写吞吐预测模型 |
6.4.2 案例研究2: 测试Azure VM的CPU利用率预测模型 |
6.5 本章小结 |
第7章 总结与展望 |
7.1 研究内容总结 |
7.2 探讨与展望 |
参考文献 |
致谢 |
在读期间发表的学术论文与取得的研究成果 |
(4)基于web应用模型的二阶SQL注入测试用例集生成(论文提纲范文)
学位论文数据集 |
摘要 |
Abstract |
第一章 绪论 |
1.1 研究背景与意义 |
1.2 国内外研究现状 |
1.2.1 SQL注入防御 |
1.2.2 二阶SQL注入相关技术 |
1.3 本文主要研究内容 |
1.4 本文组织结构 |
第二章 相关理论与技术 |
2.1 SQL注入理论 |
2.1.1 SQL注入原理 |
2.1.2 二阶SQL注入漏洞 |
2.2 web应用模型 |
2.2.1 模型的定义 |
2.2.2 基于模型的测试用例 |
2.3 本章小结 |
第三章 基于SQL语句映射关系的迁移Topo图生成 |
3.1 迁移Topo图定义 |
3.2 迁移Topo图生成框架 |
3.3 初始测试用例集生成 |
3.4 迁移与SQL语句映射关系建立 |
3.5 迁移Topo图生成 |
3.6 本章小结 |
第四章 二阶SQL注入测试用例集生成 |
4.1 二阶SQL注入测试用例集生成框架 |
4.2 基于迁移Topo图的测试序列生成 |
4.3 SQL注入攻击向量生成 |
4.3.1 攻击向量单元设计 |
4.3.2 攻击向量生成策略 |
4.4 测试用例集生成与漏洞检测 |
4.5 本章小结 |
第五章 实验设计与结果分析 |
5.1 研究问题 |
5.2 实验对象与环境 |
5.3 实验设计 |
5.4 实验结果分析 |
5.4.1 漏洞检测能力 |
5.4.2 有效性分析 |
5.4.3 扩展能力评估 |
5.5 实验案例 |
5.6 本章小结 |
第六章 结论与展望 |
6.1 本文结论 |
6.2 后续工作和展望 |
参考文献 |
致谢 |
研究成果及发表的学术论文 |
作者及导师简介 |
附件 |
(5)数据库安全模型验证测试系统的设计与实现(论文提纲范文)
摘要 |
Abstract |
1 绪论 |
1.1 课题研究背景 |
1.2 国内外研究概况 |
1.3 课题主要研究工作 |
2 数据库安全模型验证测试系统的设计 |
2.1 数据库安全模型验证测试系统的需求分析 |
2.2 数据库安全模型验证测试系统的设计 |
2.3 后台数据库存储结构的设计 |
2.4 本章小结 |
3 数据库安全模型验证测试系统的实现 |
3.1 模型数据管理模块的实现 |
3.2 模型管理模块的实现 |
3.3 测试模板及测试用例生成器的实现 |
3.4 测试报告生成器的实现 |
3.5 测试用例的正确性和覆盖性分析 |
3.6 本章小结 |
4 测试与分析 |
4.1 实验环境 |
4.2 实验目标 |
4.3 测试结果与分析 |
4.4 本章小结 |
5 总结与展望 |
5.1 全文总结 |
5.2 展望 |
致谢 |
参考文献 |
(6)数据库系统性能评测与质量管理(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究背景 |
1.2 研究内容和面临的挑战 |
1.3 本文的主要贡献 |
1.3.1 面向分析型应用的数据库性能评测 |
1.3.2 面向事务型应用的数据库性能评测 |
1.3.3 大规模事务负载生成与执行正确性验证 |
1.4 章节安排 |
第二章 背景知识和相关工作 |
2.1 数据库系统的评测基准 |
2.1.1 针对OLAP的评测基准 |
2.1.2 针对OLTP的评测基准 |
2.1.3 其他评测基准及相关工具 |
2.2 数据库系统的质量管理 |
2.2.1 不同类型的测试 |
2.2.2 测试流程控制 |
2.2.3 自动化工具 |
2.3 相关工作 |
2.3.1 测试数据的生成 |
2.3.2 测试负载的生成 |
2.3.3 负载感知的测试数据库生成 |
2.4 本章小节 |
第三章 面向分析型应用的数据库性能评测 |
3.1 预备知识 |
3.1.1 动机与目标 |
3.1.2 问题定义与分析 |
3.1.3 系统架构概览 |
3.2 随机属性生成 |
3.3 查询实例化 |
3.3.1 查询实例化流程 |
3.3.2 等值选择基数约束的处理 |
3.3.3 非等值选择基数约束的处理 |
3.3.4 非等值连接基数约束的处理 |
3.4 测试数据库生成 |
3.4.1 数据生成机制 |
3.4.2 匹配缺失的处理 |
3.4.3 连接信息表的维护 |
3.5 实验与分析 |
3.5.1 实验环境 |
3.5.2 实验结果及分析 |
3.6 本章小节 |
第四章 面向事务型应用的数据库性能评测 |
4.1 预备知识 |
4.1.1 工作动机 |
4.1.2 问题定义与分析 |
4.1.3 系统架构概览 |
4.2 测试数据库生成 |
4.3 事务逻辑 |
4.3.1 事务逻辑定义 |
4.3.2 事务逻辑提取 |
4.4 数据访问分布 |
4.4.1 倾斜数据访问分布 |
4.4.2 动态数据访问分布 |
4.4.3 连续数据访问分布 |
4.5 测试负载生成 |
4.6 实验与分析 |
4.6.1 实验环境 |
4.6.2 实验结果及分析 |
4.7 本章小节 |
第五章 大规模事务负载生成与执行正确性验证 |
5.1 问题描述 |
5.2 系统架构概览 |
5.3 随机测试数据库生成 |
5.3.1 数据库模式的生成 |
5.3.2 数据库实例的生成 |
5.4 随机事务负载生成 |
5.4.1 基础数据库操作 |
5.4.2 负载生成机制 |
5.5 执行结果正确性验证 |
5.5.1 异象和异常检测 |
5.5.2 读结果集正确性验证 |
5.6 实验与分析 |
5.6.1 实验环境 |
5.6.2 实验结果及分析 |
5.7 本章小节 |
第六章 总结与展望 |
6.1 本文工作总结 |
6.2 未来工作展望 |
参考文献 |
致谢 |
作者简历及在学期间所取得的科研成果 |
(7)物联网资源管理服务关键技术研究(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究背景和意义 |
1.2 研究目标和研究内容 |
1.3 论文主要工作和创新点 |
1.4 论文结构 |
第二章 相关研究综述 |
2.1 本章引言 |
2.2 边缘计算 |
2.2.1 边缘计算与云计算的比较 |
2.2.2 主要研究项目 |
2.2.3 边缘计算在物联网资源管理中的应用 |
2.3 服务系统架构 |
2.3.1 EDSOA架构 |
2.3.2 物联网服务组合方式 |
2.3.3 发布订阅消息系统 |
2.4 复杂事件处理 |
2.4.1 通用参考架构 |
2.4.2 复杂事件模式匹配 |
2.4.3 相关工作与挑战 |
2.5 物联网异构感知设备的统一接入 |
2.5.1 物联网资源描述方法 |
2.5.2 物联网资源模型相关工作 |
2.5.3 物联网统一接入相关工作 |
2.6 内存数据库 |
2.6.1 内存数据库研究现状 |
2.6.2 内存数据库面临的挑战 |
2.7 本章小结 |
第三章 物联网服务系统体系架构研究 |
3.1 引言 |
3.2 物联网服务新特征 |
3.3 物联网服务系统面临的技术挑战 |
3.4 物联网服务系统架构 |
3.4.1 基于隐式的事件链驱动的EDSOA服务执行模式 |
3.4.2 基于EDSOA的物联网服务系统架构 |
3.5 发布订阅消息系统 |
3.5.1 消息系统架构 |
3.5.2 类Push方式接收消息 |
3.5.3 消息系统性能实验 |
3.6 应用案例 |
3.6.1 系统架构 |
3.6.2 定义服务和发布订阅事件 |
3.6.3 性能测试 |
3.7 本章小结 |
第四章 基于边缘计算的物联网异构感知设备统一接入平台 |
4.1 引言 |
4.2 基于边缘计算的三层计算模型 |
4.3 物联网感知设备接入平台 |
4.3.1 接入平台总体结构 |
4.3.2 基于本体的资源描述模型 |
4.3.3 感知设备自适应接入方法 |
4.4 应用案例和性能评估 |
4.4.1 应用案例 |
4.4.2 性能评估 |
4.5 本章小结 |
第五章 面向物联网实时监控的通用复杂事件处理机制研究 |
5.1 引言 |
5.2 物联网事件模型 |
5.2.1 原始事件 |
5.2.2 简单事件 |
5.2.3 复杂事件 |
5.2.4 复杂事件定义实例 |
5.3 复杂事件处理系统 |
5.3.1 系统架构 |
5.3.2 原始事件处理模块 |
5.3.3 复杂事件处理模块 |
5.3.4 系统特点分析 |
5.4 性能评估 |
5.4.1 时间相关复杂事件与时间无关复杂事件处理性能比较 |
5.4.2 时间相关复杂事件处理参数的性能分析 |
5.4.3 包含简单事件处理的复杂事件处理系统性能提升 |
5.5 本章小结 |
第六章 面向物联网时间序列数据的内存数据库研究 |
6.1 引言 |
6.2 物联网感知数据模型 |
6.3 数据存储策略 |
6.4 TSMMDB系统总体结构 |
6.5 TSMMDB系统设计 |
6.5.1 虚拟堆与虚拟堆内存分配器 |
6.5.2 数据库对象的持久化设计 |
6.5.3 基于共享内存的进程间通信机制 |
6.5.4 数据局部性内存分配机制 |
6.5.5 基于大粒度锁的并发控制机制 |
6.5.6 应用程序的内存地址空间规划 |
6.5.7 数据存取算法复杂度分析 |
6.6 性能评估 |
6.6.1 实验设置 |
6.6.2 TSMMDB与传统数据库的性能比较 |
6.6.3 TSMMDB系统资源占用率 |
6.7 本章小结 |
第七章 总结与展望 |
7.1 论文总结和创新点 |
7.2 展望 |
参考文献 |
致谢 |
攻读博士学位期间发表的学术论文及成果 |
(8)面向关系数据库的关键字查询技术研究(论文提纲范文)
摘要 |
abstract |
创新成果自评表 |
第1章 绪论 |
1.1 研究背景及意义 |
1.2 国内外研究现状 |
1.2.1 关键字查询预处理 |
1.2.2 关键字查询方法 |
1.2.3 查询结果后处理 |
1.3 主要研究内容 |
1.4 论文组织结构 |
第2章 基于图划分策略的数据库模式抽象方法 |
2.1 引言 |
2.2 研究基础 |
2.3 基于图划分的模式抽象方法GP-RDSS |
2.3.1 相似性矩阵构建策略 |
2.3.2 数据表重要性度量方案 |
2.3.3 数据库模式抽象算法 |
2.4 实验及结果分析 |
2.4.1 实验设置 |
2.4.2 表重要性评估 |
2.4.3 有效性评估 |
2.4.4 对比实验分析 |
2.5 本章小结 |
第3章 基于查询推荐及解释的查询扩展方法 |
3.1 引言 |
3.2 问题描述与研究动机 |
3.3 关系数据库关键字查询扩展方法ReInterpretQE |
3.3.1 框架概览 |
3.3.2 概率查询推荐模型 |
3.3.3 查询解释方案 |
3.4 实验及结果分析 |
3.4.1 实验设置 |
3.4.2 参数选取 |
3.4.3 效果评估 |
3.5 本章小结 |
第4章 基于主题类簇单元的关键字查询方法 |
4.1 引言 |
4.2 研究基础 |
4.3 关系数据库关键字查询方法 |
4.3.1 框架概览 |
4.3.2 基于模式图划分的垂直分组 |
4.3.3 表连接优化方案 |
4.3.4 基于元组关联图的水平分组 |
4.3.5 索引优化机制 |
4.4 实验及结果分析 |
4.4.1 实验设置 |
4.4.2 效果评估 |
4.4.3 效率评估 |
4.4.4 可扩展性评估 |
4.5 本章小结 |
第5章 面向关系数据库的并行学习排序方法 |
5.1 引言 |
5.2 问题分析与相关理论 |
5.3 关系数据库关键字查询排序方法PARR-H |
5.3.1 虚拟文档列表级的学习排序算法 |
5.3.2 并行学习排序算法 |
5.3.3 弱排序器分层构建策略 |
5.4 实验及结果分析 |
5.4.1 实验设置 |
5.4.2 效果评估 |
5.4.3 训练效率评估 |
5.5 本章小结 |
结论 |
参考文献 |
攻读博士学位期间发表的论文和取得的科研成果 |
致谢 |
(9)大数据管理系统评测基准的挑战与研究进展(论文提纲范文)
1 引言 |
2 评测基准的基本要素 |
3 大数据管理系统及其评测基准需求 |
3.1 大数据管理系统的分类 |
3.2 大数据管理系统基准评测需求 |
3.3 大数据管理系统基准评测的挑战 |
4 BSMA:面向社交媒体数据分析型查询的基准评测 |
4.1 BSMA框架 |
4.2 数据生成 |
4.3 负载 |
4.4 评测指标与评测方法 |
5 相关工作 |
5.1 面向关系模型的数据库系统评测基准 |
5.2 面向非关系型数据的基准设计 |
5.3 面向大数据管理技术的基准 |
5.4 国内的相关工作 |
6 结束语 |
(10)面向大数据处理的并行计算模型及性能优化(论文提纲范文)
摘要 |
ABSTRACT |
目录 |
表格索引 |
插图索引 |
算法索引 |
主要符号对照表 |
第一章 绪论 |
本章概要 |
1.1 研究背景与意义 |
1.1.1 并行机体系机构的演变 |
1.1.2 计算资源扩展能力的变化 |
1.1.3 工业界应用模式的改变 |
1.1.4 大数据应用的调优指导 |
1.2 本文的研究内容和研究思路 |
1.3 本文组织结构 |
第二章 大数据计算模型相关工作 |
本章概要 |
2.1 传统并行计算模型 |
2.1.1 传统并行计算模型概述 |
2.1.2 代表性模型介绍 |
2.2 大数据编程模型 |
2.2.1 大数据编程模型概述 |
2.2.2 代表性模型介绍 |
2.3 大数据计算模型 |
2.3.1 大数据计算模型概述 |
2.3.2 国内外研究现状 |
2.4 本章小结 |
第三章 P-DOT:一个面向大数据处理的并行计算模型 |
本章概要 |
3.1 模型介绍 |
3.1.1 定义与形式化描述 |
3.1.2 主要参数与时间成本函数 |
3.1.3 普适性、扩展性与容错性 |
3.1.4 相关模型比较分析 |
3.2 模型证明 |
3.2.1 时间成本函数的限制条件 |
3.2.2 时间成本函数的推导与证明 |
3.2.3 普适性分析与证明 |
3.2.4 扩展性、容错性的分析与证明 |
3.3 基于模型的优化方法 |
3.3.1 数据层优化方法介绍与分析 |
3.3.2 计算层优化方法介绍与分析 |
3.3.3 通信层优化方法介绍与分析 |
3.4 实验验证 |
3.4.1 实验环境与测试程序 |
3.4.2 时间成本函数的相关实验与分析 |
3.5 本章小结 |
第四章 H-DB:一个面向大数据查询的混合异构系统 |
本章概要 |
4.1 引言 |
4.2 应用背景 |
4.2.1 地震前兆台网介绍、需求与特点 |
4.2.2 相关大数据查询系统比较分析 |
4.3 H-DB查询系统介绍 |
4.3.1 系统整体概览 |
4.3.2 主要功能模块介绍 |
4.4 模型数据层优化方法的应用 |
4.4.1 全局索引的建立与访问机制 |
4.4.2 分类查询的工作机制 |
4.5 性能评估 |
4.5.1 实验环境与测试案例 |
4.5.2 查询性能结果与分析 |
4.6 本章小结 |
第五章 LFRTrainer:一个大规模分布式人脸识别训练系统 |
本章概要 |
5.1 引言 |
5.2 应用背景 |
5.2.1 人脸识别介绍、需求与形式化描述 |
5.2.2 相关人脸识别训练系统比较分析 |
5.3 LFRTrainer训练系统介绍 |
5.3.1 系统整体概览 |
5.3.2 人脸识别模块介绍 |
5.4 模型计算层优化方法的应用 |
5.4.1 分布式SVM训练器的实现 |
5.4.2 LIBLINEAR函数库的多核加速方法 |
5.4.3 LFRTrainer系统的流水线优化 |
5.5 性能评估 |
5.5.1 实验环境与测试案例 |
5.5.2 训练性能结果与分析 |
5.6 本章小结 |
第六章 基于Caffe的深度学习系统优化 |
本章概要 |
6.1 引言 |
6.2 深度学习系统背景 |
6.2.1 深度学习的并行化概述 |
6.2.2 深度学习的软件工具与平台 |
6.2.3 Caffe开源系统结构与特点 |
6.3 模型混合层优化方法的应用 |
6.3.1 训练过程的分布式解决方法 |
6.3.2 测试过程的分布式解决方法 |
6.3.3 卷积层等模块的多核加速方法 |
6.3.4 基于部分同步策略的通信优化 |
6.3.5 基于有界延迟策略的通信优化 |
6.4 性能评估 |
6.4.1 实验环境与测试案例 |
6.4.2 训练性能结果与分析 |
6.5 本章小结 |
第七章 总结与展望 |
本章概要 |
7.1 本文研究工作总结 |
7.2 进一步工作 |
参考文献 |
致谢 |
在读期间发表的学术论文与取得的研究成果 |
四、DBMS生成器DOMDG的形式化描述(论文参考文献)
- [1]大规模知识图谱的查询处理技术研究[D]. 郭欣彤. 哈尔滨工业大学, 2021(02)
- [2]基于GAN的SQL注入漏洞挖掘技术[D]. 张星. 西安电子科技大学, 2021
- [3]面向云系统性能优化的学习增强设计研究[D]. 李昭. 中国科学技术大学, 2021(06)
- [4]基于web应用模型的二阶SQL注入测试用例集生成[D]. 王维扬. 北京化工大学, 2020(02)
- [5]数据库安全模型验证测试系统的设计与实现[D]. 王丙利. 华中科技大学, 2020(01)
- [6]数据库系统性能评测与质量管理[D]. 李宇明. 华东师范大学, 2019(02)
- [7]物联网资源管理服务关键技术研究[D]. 兰丽娜. 北京邮电大学, 2019(02)
- [8]面向关系数据库的关键字查询技术研究[D]. 王瑛琦. 哈尔滨工程大学, 2018(01)
- [9]大数据管理系统评测基准的挑战与研究进展[J]. 钱卫宁,夏帆,周敏奇,金澈清,周傲英. 大数据, 2015(01)
- [10]面向大数据处理的并行计算模型及性能优化[D]. 骆涛. 中国科学技术大学, 2015(09)