You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2022-12-02 - 08:31

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  

ARM Broadcom BCM2835 @1400 MHz, Linux 4.18.16-rt9 (Profile)

Latency plot of shadow in rack #7, slot #3
Data to construct the above plot have been generated using the RT test utility cyclictest.
Command line: cyclictest -l100000000 -m -Sp99 -i200 -h400 -q
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack7slot3s.osadl.org (updated Fri Dec 02, 2022 00:43:36)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2260622600,2sleep30-21swapper/319:05:523
2326299966,49cyclictest0-21swapper/022:55:350
2326299817,42cyclictest0-21swapper/019:10:330
2326299798,59cyclictest0-21swapper/023:45:320
23262997812,44cyclictest3764-21cut19:45:350
252022760,6sleep32326599cyclictest22:21:253
23262997612,46cyclictest2748-21tail23:15:490
23262997611,45cyclictest27806-21fschecks_count20:50:380
23262997611,45cyclictest27806-21fschecks_count20:50:380
23262997512,59cyclictest6396-21wc19:50:440
23262997510,41cyclictest1326-21grep23:55:510
207412750,2sleep20-21swapper/220:30:422
316452740,2sleep20-21swapper/221:48:112
2326299739,60cyclictest25446-21idleruntime-cro00:30:200
23262997315,54cyclictest21385-21latency_hist21:35:200
23262997114,34cyclictest28776-21grep23:50:350
2326299698,57cyclictest29043-21ssh00:35:390
23262996939,7cyclictest0-21swapper/022:45:340
2326299687,50cyclictest0-21swapper/000:17:040
23262996826,27cyclictest31140-21kernelversion19:30:420
23262996812,52cyclictest28521-21idleruntime-cro19:25:200
2326299675,51cyclictest0-21swapper/022:30:470
23262996714,38cyclictest21771-21cut21:35:350
2326299668,50cyclictest0-21swapper/020:58:370
23262996612,42cyclictest0-21swapper/023:05:350
23262996611,36cyclictest0-21swapper/019:40:360
2326299659,40cyclictest24002-21tr20:40:340
2326299658,44cyclictest9106-21ssh22:00:480
2326299658,42cyclictest7198-21ssh21:59:010
2326299657,12cyclictest30556-21apt-config19:30:210
23262996514,43cyclictest0-21swapper/021:40:310
23262996513,43cyclictest26471-21wc20:45:460
2326299649,51cyclictest8232-21ssh23:23:520
2326299648,45cyclictest0-21swapper/021:30:210
2326299648,45cyclictest0-21swapper/021:30:210
2326299648,44cyclictest14977-21ssh23:31:500
2326299648,44cyclictest14977-21ssh23:31:500
2326299648,33cyclictest10367-21runrttasks00:09:070
2326299648,33cyclictest10367-21runrttasks00:09:070
2326299645,51cyclictest0-21swapper/020:19:140
2326299645,44cyclictest0-21swapper/021:05:480
2326299643,14cyclictest0-21swapper/023:40:310
23262996417,39cyclictest0-21swapper/022:20:330
23262996411,43cyclictest25118-21aten_rbpower_cu19:15:340
23262996410,51cyclictest808550rm21:16:520
2326299639,44cyclictest9686-21ssh22:44:150
2326299639,37cyclictest0-21swapper/021:11:430
2326299637,45cyclictest0-21swapper/023:13:100
2326299637,40cyclictest0-21swapper/022:28:040
23262996311,38cyclictest22112-21sed00:25:210
23262996310,50cyclictest12284-21ssh23:29:130
23262996310,37cyclictest18311-21unixbench_singl23:35:490
226482633,12sleep00-21swapper/019:05:580
2326399623,18cyclictest0-21swapper/122:10:321
2326299629,39cyclictest5490-21ssh22:38:370
2326299628,43cyclictest0-21swapper/020:24:250
2326299628,10cyclictest30431-21grep21:45:490
2326299622,46cyclictest0-21swapper/019:35:460
2326299621,31cyclictest0-21swapper/021:20:320
23262996210,38cyclictest8050irq/56-dwc_otg_00:10:400
2326299618,34cyclictest0-21swapper/022:17:300
2326299617,44cyclictest26018-21/usr/sbin/munin00:30:390
23262996124,4cyclictest22270-21ssh23:00:350
23262996112,12cyclictest16438-21ssh22:52:120
23262996013,30cyclictest5374-21ssh00:01:090
23262996012,30cyclictest13846-21sh22:06:560
4602590,3sleep132463-21/usr/sbin/munin19:35:391
2326299579,34cyclictest19067-21rm22:14:510
23262995736,6cyclictest7950irq/56-dwc_otg_20:00:380
23262995629,12cyclictest8050irq/56-dwc_otg_20:05:480
2326299553,41cyclictest0-21swapper/021:01:090
23262995515,8cyclictest0-21swapper/020:25:320
2326299551,41cyclictest22212-21wget20:35:350
2326299545,40cyclictest0-21swapper/021:50:300
60602520,22sleep38050irq/56-dwc_otg_00:02:423
2326399521,12cyclictest0-21swapper/123:25:321
2326299524,39cyclictest0-21swapper/020:14:060
2326299524,39cyclictest0-21swapper/020:14:060
2326299512,33cyclictest0-21swapper/019:55:390
23265995034,11cyclictest37-21rcuc/323:30:323
23265995034,11cyclictest37-21rcuc/323:30:323
23264994916,6cyclictest134702/usr/sbin/munin23:30:382
23264994916,6cyclictest134702/usr/sbin/munin23:30:382
2326299466,26cyclictest0-21swapper/020:30:370
121782460,7sleep12326399cyclictest22:46:271
23263994526,4cyclictest8050irq/56-dwc_otg_21:55:341
23264994427,8cyclictest19920-21ssh23:39:022
23264994419,5cyclictest31-21ksoftirqd/222:20:252
23263994425,4cyclictest0-21swapper/123:00:391
23265994325,4cyclictest39-21ksoftirqd/300:35:513
2326399437,23cyclictest0-21swapper/119:45:251
2326399436,5cyclictest0-21swapper/100:20:341
2326399432,26cyclictest0-21swapper/120:00:361
23265994220,7cyclictest5032-21cat21:55:423
23264994217,4cyclictest8988-21latency_hist23:25:202
23263994220,5cyclictest29663-21if_eth021:45:391
2326599414,22cyclictest0-21swapper/319:45:263
2326499411,7cyclictest8050irq/56-dwc_otg_21:10:322
190032410,2sleep20-21swapper/222:14:442
2326599403,13cyclictest8790-21unixbench_multi00:05:513
2326599403,13cyclictest8790-21unixbench_multi00:05:513
2326599402,30cyclictest8050irq/56-dwc_otg_22:15:313
2326399406,23cyclictest0-21swapper/120:15:351
23265993918,4cyclictest27863-21sh22:25:393
23265993916,6cyclictest381ktimersoftd/323:40:493
2326499398,13cyclictest8050irq/56-dwc_otg_22:30:392
23264993928,8cyclictest301ktimersoftd/220:20:312
23264993920,5cyclictest4020-21fschecks_time19:45:392
23264993915,10cyclictest24130-21sh21:38:192
2326499391,4cyclictest12866-21ls20:10:212
2326399397,22cyclictest0-21swapper/122:20:351
2326399397,22cyclictest0-21swapper/121:35:341
2326399395,26cyclictest8050irq/56-dwc_otg_23:10:231
2326399394,23cyclictest0-21swapper/119:55:341
2326399392,25cyclictest0-21swapper/120:30:371
23263993916,7cyclictest29363-21aten_rbpower_en20:55:341
164502390,3sleep223255-21cyclictest20:20:202
280022380,1sleep20-21swapper/219:20:512
23265993818,5cyclictest7567-21aten_rbpower_vo19:55:353
2326499382,6cyclictest0-21swapper/219:10:322
2326499381,4cyclictest0-21swapper/223:25:322
2326499381,28cyclictest0-21swapper/223:15:422
2326499381,18cyclictest0-21swapper/221:30:442
2326499381,15cyclictest0-21swapper/219:25:332
2326399381,30cyclictest29745-21cat23:10:211
2326399381,18cyclictest0-21swapper/123:55:431
41902370,4sleep12326399cyclictest23:18:361
23265993713,4cyclictest27315-21latency_hist20:50:213
2326499377,14cyclictest7950irq/56-dwc_otg_22:05:482
2326499375,4cyclictest8050irq/56-dwc_otg_00:05:212
23264993717,5cyclictest17690-21sh00:18:522
2326499371,6cyclictest0-21swapper/223:53:532
2326499371,25cyclictest28772-21users22:25:512
2326499371,23cyclictest0-21swapper/223:15:202
2326399376,22cyclictest0-21swapper/122:35:331
2326399372,15cyclictest0-21swapper/121:00:351
23263993717,3cyclictest0-21swapper/123:42:391
2326399371,27cyclictest759-21ls21:50:341
2326399371,26cyclictest0-21swapper/100:10:511
2326399371,24cyclictest2403-21ls19:40:411
2326599369,5cyclictest7950irq/56-dwc_otg_22:15:203
2326599363,12cyclictest1713-21ssh21:50:483
2326599362,5cyclictest0-21swapper/322:51:543
23265993617,9cyclictest18680-21sh23:36:323
23265993616,4cyclictest29204-21ssh21:45:313
23265993612,6cyclictest0-21swapper/323:15:423
2326599361,24cyclictest25252-21ls21:40:213
23265993610,13cyclictest0-21swapper/321:14:233
2326499368,12cyclictest31-21ksoftirqd/220:45:202
2326499361,3cyclictest7950irq/56-dwc_otg_21:00:352
2326499361,30cyclictest4589-21ls21:55:362
23264993610,12cyclictest7850irq/56-dwc_otg00:20:412
2326399367,13cyclictest24776-21/usr/sbin/munin23:45:371
2326399361,3cyclictest0-21swapper/100:15:311
2326399361,19cyclictest29222-21latency_hist20:55:211
2326399361,19cyclictest29222-21latency_hist20:55:211
2326599357,6cyclictest7950irq/56-dwc_otg_00:30:473
2326599352,18cyclictest7850irq/56-dwc_otg19:40:483
23265993516,5cyclictest23710-21sh23:01:093
2326599351,4cyclictest7850irq/56-dwc_otg00:15:313
2326599351,21cyclictest2057-21latency_hist21:10:213
23265993510,5cyclictest0-21swapper/322:40:343
2326499358,5cyclictest8050irq/56-dwc_otg_23:00:532
2326499356,14cyclictest8050irq/56-dwc_otg_19:55:202
2326499354,21cyclictest19980-21grep22:15:382
2326499353,15cyclictest7950irq/56-dwc_otg_00:10:382
2326399358,5cyclictest7850irq/56-dwc_otg22:40:351
2326399351,8cyclictest9135-21grep23:25:211
2326399351,7cyclictest27023-21wget19:20:371
2326399351,24cyclictest0-21swapper/120:05:251
23263993510,7cyclictest0-21swapper/119:50:471
2326599346,4cyclictest0-21swapper/322:55:373
23265993423,9cyclictest26216-21ntp_states21:40:503
23265993413,14cyclictest381ktimersoftd/319:30:463
23265993412,4cyclictest13232-21sh22:48:353
23265993410,15cyclictest8050irq/56-dwc_otg_19:17:463
2326499341,9cyclictest26353-21ssh23:05:372
2326499341,4cyclictest8050irq/56-dwc_otg_21:25:442
2326499341,4cyclictest8050irq/56-dwc_otg_21:25:442
23264993414,7cyclictest26465-21netstat00:30:442
23264993412,14cyclictest0-21swapper/219:35:412
2326399348,7cyclictest21-21rcuc/122:30:321
2326399348,5cyclictest7850irq/56-dwc_otg20:35:491
2326399348,5cyclictest23-21ksoftirqd/122:28:351
2326399347,5cyclictest19583-21grep20:25:491
2326399347,12cyclictest0-21swapper/100:10:211
2326399347,12cyclictest0-21swapper/100:10:211
2326399342,18cyclictest0-21swapper/122:54:571
23263993421,7cyclictest221ktimersoftd/122:05:451
23263993419,5cyclictest21-21rcuc/119:15:211
23263993419,5cyclictest12503-21sh21:23:011
23263993414,5cyclictest25679-21sh21:40:411
2326399341,24cyclictest25787-21ssh00:30:351
2326399341,16cyclictest0-21swapper/121:05:341
2326599339,3cyclictest0-21swapper/323:50:193
2326599339,14cyclictest0-21swapper/300:10:353
2326599339,10cyclictest8050irq/56-dwc_otg_19:25:203
2326599337,6cyclictest7950irq/56-dwc_otg_20:45:203
2326599336,4cyclictest0-21swapper/300:25:413
2326599335,18cyclictest0-21swapper/323:26:583
2326599333,13cyclictest8050irq/56-dwc_otg_23:10:333
23265993325,5cyclictest27585-21wget20:50:353
23265993325,5cyclictest27585-21wget20:50:353
2326599331,5cyclictest15103-21ls21:25:493
2326599331,5cyclictest15103-21ls21:25:493
23265993312,5cyclictest2705-21latency_hist22:35:213
23265993311,3cyclictest0-21swapper/320:55:483
2326499338,6cyclictest7950irq/56-dwc_otg_21:20:362
2326499338,5cyclictest7950irq/56-dwc_otg_19:15:382
2326499337,11cyclictest8050irq/56-dwc_otg_23:00:202
2326499334,12cyclictest7850irq/56-dwc_otg19:45:202
23264993315,10cyclictest0-21swapper/222:43:362
2326499331,3cyclictest7950irq/56-dwc_otg_21:40:422
2326399331,4cyclictest7850irq/56-dwc_otg19:30:341
23263993311,5cyclictest0-21swapper/121:15:331
2326399331,12cyclictest32156-21latency_hist00:40:211
2326599329,4cyclictest0-21swapper/323:51:463
2326599329,3cyclictest0-21swapper/323:05:453
2326599326,6cyclictest37-21rcuc/319:30:203
2326599324,5cyclictest8050irq/56-dwc_otg_23:55:493
23265993214,9cyclictest37-21rcuc/320:24:253
23265993213,6cyclictest124302chrt21:22:523
2326499324,12cyclictest7950irq/56-dwc_otg_20:45:392
2326499321,8cyclictest30397-21sed20:55:482
23264993210,8cyclictest8050irq/56-dwc_otg_20:15:202
23264993210,8cyclictest8050irq/56-dwc_otg_20:15:202
2326399326,5cyclictest19641-21ssh21:31:511
2326399325,18cyclictest8050irq/56-dwc_otg_00:00:511
2326399321,7cyclictest8495-21grep22:00:391
2326399321,22cyclictest0-21swapper/122:55:261
2326599318,6cyclictest381ktimersoftd/319:50:253
2326599317,4cyclictest13282-21cut20:10:383
2326599317,4cyclictest13282-21cut20:10:383
2326599312,4cyclictest2807-21apt-get22:35:333
2326599311,12cyclictest7950irq/56-dwc_otg_20:05:433
2326499319,11cyclictest8050irq/56-dwc_otg_20:50:342
2326499319,11cyclictest8050irq/56-dwc_otg_20:50:342
2326499318,12cyclictest0-21swapper/222:50:392
2326499314,15cyclictest7950irq/56-dwc_otg_00:30:202
2326499314,11cyclictest8050irq/56-dwc_otg_22:45:442
2326499313,17cyclictest29-21rcuc/221:51:022
2326499312,4cyclictest0-21swapper/222:01:512
2326499311,6cyclictest0-21swapper/222:35:312
23264993112,5cyclictest7851-21df00:05:372
23264993112,5cyclictest7851-21df00:05:372
2326399319,5cyclictest7850irq/56-dwc_otg23:30:371
2326399319,5cyclictest7850irq/56-dwc_otg23:30:371
2326399316,12cyclictest7850irq/56-dwc_otg22:15:471
2326399315,17cyclictest0-21swapper/123:40:021
23263993113,5cyclictest23-21ksoftirqd/120:45:211
2326599308,10cyclictest7850irq/56-dwc_otg21:31:313
2326599306,10cyclictest0-21swapper/322:08:013
23265993012,6cyclictest39-21ksoftirqd/322:00:483
2326499305,11cyclictest8050irq/56-dwc_otg_21:15:452
2326499301,6cyclictest8568-21grep19:55:492
23264993014,8cyclictest24074-21ssh23:44:332
2326399307,4cyclictest7850irq/56-dwc_otg21:25:391
2326399307,4cyclictest7850irq/56-dwc_otg21:25:391
23263993015,7cyclictest22247-21/usr/sbin/munin00:25:471
2326399301,3cyclictest0-21swapper/120:20:381
2326399301,25cyclictest2731-21grep21:10:381
2326399301,19cyclictest29973-21ssh23:50:541
23263993010,9cyclictest23-21ksoftirqd/119:30:211
2326599297,3cyclictest0-21swapper/300:23:053
2326599296,11cyclictest8050irq/56-dwc_otg_20:00:443
2326499298,10cyclictest8050irq/56-dwc_otg_19:30:482
2326499297,14cyclictest0-21swapper/223:55:462
2326499293,4cyclictest8050irq/56-dwc_otg_00:35:482
2326499291,5cyclictest25028-21ssh23:45:372
2326399295,12cyclictest26789-21grep20:45:491
2326399294,5cyclictest7850irq/56-dwc_otg20:10:481
2326399294,5cyclictest7850irq/56-dwc_otg20:10:481
2326399291,14cyclictest25128-21wget19:15:341
227552296,13sleep10-21swapper/119:07:211
162502291,4sleep30-21swapper/320:18:043
2326599284,7cyclictest8050irq/56-dwc_otg_19:37:563
2326599283,10cyclictest8050irq/56-dwc_otg_23:20:453
23265992818,7cyclictest0-21swapper/321:00:413
2326599281,7cyclictest7037-21ssh21:15:433
2326499281,9cyclictest1293-21/usr/sbin/munin21:05:462
2326499281,17cyclictest0-21swapper/220:25:422
23264992810,10cyclictest301ktimersoftd/220:00:472
2326599279,8cyclictest8050irq/56-dwc_otg_19:10:323
227372273,15sleep20-21swapper/219:07:102
2326599267,4cyclictest8050irq/56-dwc_otg_20:35:363
2326599261,6cyclictest20415-21cut20:30:383
2326599261,4cyclictest25215-21snmpd20:26:013
2326499265,4cyclictest8050irq/56-dwc_otg_20:35:412
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional