django批量导入数据-创新互联

一、需求

我们提供的服务有:成都网站建设、成都网站设计、微信公众号开发、网站优化、网站认证、雨山ssl等。为近1000家企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务,是有科学管理、有技术的雨山网站制作公司

我在数据库中建了一张表,用来保存ucloud云上的project id 和project name

models.py代码如下

#coding:utf-8 from django.db import models class Project(models.Model):     name = models.CharField(u'项目名称',max_length=32,blank=True)     id = models.CharField(u'项目ID',max_length=32,unique=True,primary_key=True,blank=True)     create_date = models.DateTimeField(u'创建时间', auto_now_add=True)     update_date = models.DateTimeField(u'更新时间', auto_now=True)     def __unicode__(self):         return self.name

admin.py代码如下

from django.contrib import admin from ucloud.models import * class ProjectAdmin(admin.ModelAdmin):     list_display = ['name','id'] admin.site.register(Project,ProjectAdmin)

django 批量导入数据

二、批量导入脚本

现在,我准备了一个脚本,通过UcloudAPI获取到了线上所有的项目的项目ID和项目名称

#!/usr/bin/env python #-*-coding:utf8-*- from Ucloud_API.config import * from Ucloud_API.sdk import UcloudApiClient from models import * def get_project_info():     ApiClient = UcloudApiClient(base_url, public_key, private_key)     Parameters = {         "Action": "GetProjectList"     }     response = ApiClient.get("/", Parameters)     ids = [         {'ProjectId': _['ProjectId'], 'ProjectName': _['ProjectName']}         for _ in response['ProjectSet']         ]     return ids##脚本执行结果如下 [{'ProjectId': u'org-81', 'ProjectName': u'\u4e0a\u6d77\u522b\u6837\u7ea2\u4fe1\u606f\u6280\u672f\u6709\u9650\u516c\u53f8'}, {'ProjectId': u'org-ja1wvv', 'ProjectName': u'\u5907\u6848\u4e13\u7528'}, {'ProjectId': u'org-wrg10n', 'ProjectName': u'gitlab'}, {'ProjectId': u'org-pni2a2', 'ProjectName': u'PublicTest'}, {'ProjectId': u'org-kbxrx4', 'ProjectName': u'SPMS'}, {'ProjectId': u'org-aws3dj', 'ProjectName': u'\u5b89\u5168\u6d4b\u8bd5'}, {'ProjectId': u'org-vzfixt', 'ProjectName': u'OTA'}, {'ProjectId': u'org-et55qg', 'ProjectName': u'99\u6570\u636e\u540c\u6b65\u4e2d\u8f6c\uff0c\u672c\u9879\u76ee\u4e0e99\u5185\u7f51\u6253\u901a\uff0c\u4e0d\u5141\u8bb8\u6dfb\u52a0\u4efb\u4f55\u673a\u5668'}, {'ProjectId': u'org-ghan2t', 'ProjectName': u'Ops'}, {'ProjectId': u'org-qf4d2n', 'ProjectName': u'iPms'}]

ProjectId对象表中的id字段,ProjectName对应表中的name字段。

下面是批量导入数据的代码:

#!/usr/bin/env python #-*-coding:utf8-*- from Ucloud_API.config import * from Ucloud_API.sdk import UcloudApiClient from models import * ##通过API获取数据 def get_project_info():     ApiClient = UcloudApiClient(base_url, public_key, private_key)     Parameters = {         "Action": "GetProjectList"     }     response = ApiClient.get("/", Parameters)     ids = [         {'ProjectId': _['ProjectId'], 'ProjectName': _['ProjectName']}         for _ in response['ProjectSet']         ]     return ids ##批量导入数据 def update_project_info():     info = get_project_info()     pids = []     for _ in info:         projectid = _['ProjectId']         pids.append(projectid)         project = None         try:             project = Project.objects.get(pk=projectid)         except Project.DoesNotExist:             project = Project(pk=projectid)         project.name = _['ProjectName']         project.save()     # 删除本地有但是ucloud上没有的项目     projectids = [_['pk'] for _ in Project.objects.all().values('pk')]     diff_ids = list(set(projectids).difference(set(pids)))     Project.objects.filter(pk__in=diff_ids).delete()

这里导入数据的思路如下:

try:     project = Project.objects.get(pk=projectid) except Project.DoesNotExist:     project = Project(pk=projectid)

先通过get方法获取对象,如果对象bu'存在,则用下面的方法创建该对象

project = Project(pk=projectid)

如果对象存在,通过下面的方法更新ProjectName

project.name = _['ProjectName'] project.save()

另外还有一个需要注意的地方是,数据库中的数据要更新。

例如:线上之前有一个项目aaa,但是后来被删除了,那么则需要从数据库中删除该对象。

使用以下方法;

projectids = [_['pk'] for _ in Project.objects.all().values('pk')] diff_ids = list(set(projectids).difference(set(pids))) Project.objects.filter(pk__in=diff_ids).delete()

将数据库中的对象列表转换成集合,将线上获取到的对象列表也转换成集合,然后通过

set1.difference(set2)

的方法来获取在set1中存在,但在set2中不存在的对象,然后用下面的方法删除

Project.objects.filter(pk__in=diff_ids).delete()

批量导入数据还可以使用下面的方法执行

def update_project_info():     info = get_project_info()     pids = [_['ProjectId'] for _ in info]     for i in info:         Project.objects.get_or_create(id=i['ProjectId'],name=i['ProjectName'])     projectids = [_['pk'] for _ in Project.objects.all().values('pk')]     #获取数据库中存在,但线上不存在的projectid     diff_ids = list(set(projectids).difference(set(pids)))     #删除数据库中多余的数据     Project.objects.filter(pk__in=diff_ids).delete()Project.objects.get_or_create(id=i['ProjectId'],name=i['ProjectName'])

 get_or_create() 有就获取过来,没有就创建,用它可以避免重复,但是速度可以会慢些,因为要先尝试获取,看看有没有

三、如何执行脚本

我们可以将导入数据的方法通过问url的方式,来执行

#coding:utf-8 from django.shortcuts import render from django.http import HttpResponse,JsonResponse from sdkucloud import * # Create your views here. def index(request):     return HttpResponse('index') def pull_project(request):     update_project_info()     return HttpResponse('OK!')

编辑$APPName/urls.py

from django.conf.urls import include, url from django.contrib import admin from ucloud.views import * urlpatterns = [     url(r'^$',  index),     url(r'^pull_project/$', pull_project) ]

另外有需要云服务器可以了解下创新互联cdcxhl.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。

当前题目:django批量导入数据-创新互联
网站路径:https://www.cdcxhl.com/article26/dichjg.html

成都网站建设公司_创新互联,为您提供微信公众号服务器托管网站收录品牌网站制作虚拟主机云服务器

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

成都定制网站网页设计