You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-04-13 - 22:13

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack7slot3s.osadl.org (updated Mon Apr 13, 2026 12:43:36)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
784224780,3sleep10-21swapper/116:26:071
784224780,3sleep10-21swapper/116:26:071
2158321750,5sleep2884399cyclictest19:50:202
884199977,46cyclictest0-21swapper/018:00:550
106962950,1sleep20-21swapper/220:54:542
230152870,10sleep3381ktimersoftd/321:09:403
230152870,10sleep3381ktimersoftd/321:09:403
159792780,3sleep123-21ksoftirqd/119:42:421
884199777,42cyclictest0-21swapper/016:55:560
224102770,1sleep00-21swapper/020:30:120
194932760,2sleep10-21swapper/119:46:331
8843997528,12cyclictest7850irq/56-dwc_otg_19:25:542
117992740,2sleep3884499cyclictest16:36:103
89412730,2sleep30-21swapper/320:13:323
80522720,2sleep20-21swapper/221:30:492
80522720,2sleep20-21swapper/221:30:492
156592720,2sleep10-21swapper/118:16:111
90302710,1sleep10-21swapper/116:30:571
8841997038,16cyclictest0-21swapper/018:35:580
884199701,55cyclictest31258-21latency_hist20:40:440
884199701,55cyclictest31258-21latency_hist20:40:440
256332700,2sleep3381ktimersoftd/319:55:083
884399695,20cyclictest9497-21ssh19:35:492
884399671,51cyclictest5856-21/usr/sbin/munin17:51:012
884399671,51cyclictest26287-21ssh21:13:042
884399661,44cyclictest19825-21diskmemload18:39:082
884199662,41cyclictest0-21swapper/019:20:550
884199661,49cyclictest505-21rs:main0
884399651,51cyclictest32112-21rm21:59:302
884399651,44cyclictest18559-21load16:56:032
8841996540,9cyclictest0-21swapper/020:06:130
8841996440,12cyclictest20530-21grep18:31:000
8841996437,11cyclictest8744-21aten_rbpower_en18:55:560
8841996437,11cyclictest8744-21aten_rbpower_en18:55:560
884399632,39cyclictest14581-21ssh20:20:512
8843996318,43cyclictest14749-21aten_rbpower_vo18:15:582
884399631,54cyclictest32685-21latency_hist18:45:432
884399631,50cyclictest16206-21apt-get16:50:552
884399631,47cyclictest30710-21diskstats20:01:012
884399631,40cyclictest2977-21ssh18:48:322
884399631,38cyclictest13173-21/usr/sbin/munin21:36:082
8841996339,4cyclictest0-21swapper/018:10:570
8841996336,12cyclictest0-21swapper/019:41:090
884199632,42cyclictest0-21swapper/020:15:570
884199631,53cyclictest9460-21chrt19:35:450
200742630,2sleep30-21swapper/318:30:463
884499621,27cyclictest0-21swapper/317:50:583
8843996216,8cyclictest7950irq/56-dwc_otg_20:05:552
884399621,45cyclictest24685-21ssh19:53:252
884399621,44cyclictest16500-21ssh19:05:262
884399621,43cyclictest17356-21ssh21:01:552
884399621,42cyclictest681-21ssh20:41:492
884399621,42cyclictest26631-21ssh19:16:132
884399621,37cyclictest17295-21/usr/sbin/munin18:21:072
8841996234,11cyclictest0-21swapper/018:40:570
8841996231,9cyclictest0-21swapper/021:15:540
884199622,40cyclictest0-21swapper/019:16:050
884199621,48cyclictest29736-21ntp_kernel_pll_21:56:050
884399613,7cyclictest7750irq/56-dwc_otg17:20:562
884399611,43cyclictest7247-21ssh18:53:452
884399611,42cyclictest14142-21ssh20:20:272
884399611,39cyclictest1629-21ssh21:22:072
884399611,38cyclictest11994-21modprobe16:37:422
884199616,42cyclictest17713-21unixbench_singl21:41:120
8841996136,13cyclictest13131-21fschecks_count19:01:000
8841996136,12cyclictest0-21swapper/016:50:590
8841996131,15cyclictest0-21swapper/016:30:560
8841996117,24cyclictest415-21fschecks_count17:36:000
8841996117,24cyclictest415-21fschecks_count17:36:000
884399601,39cyclictest32631-21sh19:24:362
884399601,38cyclictest22527-21timerandwakeup17:06:092
884399601,37cyclictest11772-21fschecks_count20:55:592
884399601,36cyclictest23702-21ssh19:13:262
884199607,44cyclictest0-21swapper/017:25:570
884199602,38cyclictest14769-21aten_rbpower_vo20:20:560
884199601,40cyclictest20599-21apt-get21:45:490
884199601,40cyclictest20599-21apt-get21:45:490
884399591,48cyclictest23313-21ssh21:10:132
884399591,48cyclictest23313-21ssh21:10:132
884399591,47cyclictest24794-21ssh21:50:532
884399591,46cyclictest18348-21ssh21:42:182
884399591,42cyclictest15177-21ssh19:41:142
884399591,40cyclictest28447-21perl21:16:002
884399591,36cyclictest9621-21ssh20:14:462
884199595,46cyclictest917-21snmpd17:06:020
884199593,45cyclictest0-21swapper/016:36:020
8841995934,12cyclictest1596-21unixbench_multi18:46:120
8841995918,29cyclictest20064-21fschecks_count21:06:000
8841995918,29cyclictest20064-21fschecks_count21:06:000
884199591,39cyclictest26893-21idleruntime-cro17:20:420
884399585,36cyclictest7950irq/56-dwc_otg_17:01:032
884399581,47cyclictest23561-21ssh18:34:472
884399581,46cyclictest7607-21ssh21:30:262
884399581,40cyclictest4493-21grep17:46:042
884399581,38cyclictest19148-21ssh20:26:002
8841995836,7cyclictest7850irq/56-dwc_otg_20:45:540
8841995832,11cyclictest0-21swapper/017:55:420
237212580,2sleep00-21swapper/019:51:390
884399571,39cyclictest26292-21ssh20:34:412
884399571,37cyclictest14066-21munin-run16:45:422
884199571,43cyclictest21705-21wc19:11:030
884199571,42cyclictest17270-21ssh19:06:000
884199571,40cyclictest18756-21ssh19:46:060
884199571,37cyclictest24879-21hostname21:50:570
884199571,34cyclictest13545-21grep16:41:100
884399567,9cyclictest7750irq/56-dwc_otg17:55:542
884399561,51cyclictest9460-21diskstats18:00:582
884399561,36cyclictest20967-21ssh19:10:432
884399561,33cyclictest0-21swapper/220:39:002
884399561,33cyclictest0-21swapper/220:39:002
884399561,32cyclictest0-21swapper/219:32:312
8841995630,14cyclictest0-21swapper/021:25:430
8841995626,15cyclictest101ktimersoftd/018:50:540
884199561,46cyclictest9290-21latency_hist19:35:440
884199561,45cyclictest0-21swapper/021:10:540
884399551,51cyclictest11149-21ssh18:58:152
884399551,51cyclictest11149-21ssh18:58:152
884399551,50cyclictest27844-21ssh19:56:362
884399551,31cyclictest6551-21chrt20:49:552
8841995534,4cyclictest12566-21cut21:36:000
8841995531,3cyclictest0-21swapper/020:56:080
8841995524,20cyclictest0-21swapper/017:35:000
884199551,42cyclictest0-21swapper/019:26:070
8843995419,32cyclictest20551-21gpg-connect-age21:45:442
8843995419,32cyclictest20551-21gpg-connect-age21:45:442
884399541,38cyclictest26774-21sshd17:19:352
884399541,32cyclictest15832-21sshd16:50:342
884199542,38cyclictest31204-21ntp_kernel_pll_20:01:060
8841995422,3cyclictest0-21swapper/017:50:420
884199541,40cyclictest11568-21grep18:06:010
884199541,38cyclictest16379-21ssh21:01:060
884399531,47cyclictest13560-21/usr/sbin/munin18:11:092
884199537,27cyclictest9-21ksoftirqd/018:26:050
884199537,27cyclictest9-21ksoftirqd/018:26:050
8841995336,6cyclictest7850irq/56-dwc_otg_18:20:430
884199532,41cyclictest0-21swapper/016:46:070
8841995323,14cyclictest0-21swapper/018:22:520
884399521,48cyclictest19232-21cat18:26:092
884399521,48cyclictest19232-21cat18:26:092
884399521,33cyclictest0-21swapper/217:14:022
8841995225,17cyclictest0-21swapper/019:56:370
884199521,42cyclictest0-21swapper/020:11:040
8841995131,11cyclictest32471-21awk20:41:070
884199511,43cyclictest8626-21ssh21:31:020
884199511,43cyclictest8626-21ssh21:31:020
214212510,2sleep10-21swapper/120:28:241
884399501,45cyclictest11033-21/usr/sbin/munin18:06:062
884399501,44cyclictest3242-21sshd17:41:402
8841995028,9cyclictest7419-21wget20:50:570
8844994923,14cyclictest21845-21sh21:46:113
8844994923,14cyclictest21845-21sh21:46:113
884399492,31cyclictest0-21swapper/217:32:492
884399491,44cyclictest9980-21sed16:31:102
884399491,44cyclictest30310-21sshd17:28:392
8843994910,35cyclictest0-21swapper/217:36:032
8843994910,35cyclictest0-21swapper/217:36:032
8841994935,4cyclictest7850irq/56-dwc_otg_21:26:100
8841994822,10cyclictest0-21swapper/017:03:590
884199472,24cyclictest0-21swapper/017:41:000
884499467,24cyclictest0-21swapper/320:15:583
884199462,5cyclictest0-21swapper/017:55:590
884199462,38cyclictest0-21swapper/017:11:040
8841994617,19cyclictest0-21swapper/017:24:570
884499457,24cyclictest0-21swapper/317:10:563
884299458,25cyclictest0-21swapper/117:10:561
8842994535,5cyclictest0-21swapper/118:10:571
83532453,35sleep00-21swapper/016:27:530
83532453,35sleep00-21swapper/016:27:530
92032440,6sleep3884499cyclictest18:56:023
92032440,6sleep3884499cyclictest18:56:023
8844994430,8cyclictest908-21runrttasks19:55:553
884499441,27cyclictest0-21swapper/321:11:013
884499441,15cyclictest37-21rcuc/320:55:433
8842994424,8cyclictest7950irq/56-dwc_otg_21:51:011
884499434,25cyclictest0-21swapper/317:05:563
884299439,21cyclictest0-21swapper/117:50:581
8842994320,4cyclictest908-21runrttasks20:31:001
72842430,5sleep1884299cyclictest20:50:501
884499427,23cyclictest0-21swapper/319:25:563
884299429,9cyclictest7950irq/56-dwc_otg_21:25:531
8842994219,12cyclictest7950irq/56-dwc_otg_20:15:551
4722420,2sleep10-21swapper/120:41:281
884499417,22cyclictest0-21swapper/318:10:583
884299417,22cyclictest0-21swapper/118:55:561
884299417,22cyclictest0-21swapper/118:55:561
183472410,16sleep37950irq/56-dwc_otg_20:25:323
884499404,10cyclictest0-21swapper/318:40:553
884499402,19cyclictest0-21swapper/318:25:543
884499402,19cyclictest0-21swapper/318:25:543
8844994018,12cyclictest39-21ksoftirqd/319:11:003
8842994020,10cyclictest908-21runrttasks18:01:091
146402400,6sleep3884499cyclictest16:46:003
884499396,22cyclictest0-21swapper/320:25:573
884299391,11cyclictest0-21swapper/121:55:541
884499381,30cyclictest9107-21ls18:00:433
884499381,27cyclictest4207-21timerandwakeup20:46:093
884299384,12cyclictest7750irq/56-dwc_otg20:00:431
8842993813,5cyclictest7750irq/56-dwc_otg17:45:421
884299381,25cyclictest25577-21systemd-journal17:58:271
8842993812,5cyclictest0-21swapper/117:46:081
884499371,19cyclictest0-21swapper/321:21:083
884299374,6cyclictest7850irq/56-dwc_otg_19:36:131
317732370,4sleep328817-1kworker/u9:220:40:583
884499367,16cyclictest0-21swapper/321:25:553
884499363,17cyclictest11-21rcu_preempt19:44:123
8844993616,5cyclictest15620-21/usr/sbin/munin21:01:023
884499361,4cyclictest7850irq/56-dwc_otg_20:55:553
884499361,25cyclictest19973-21ls17:00:573
884499361,24cyclictest25229-21ls21:51:023
884299368,5cyclictest7750irq/56-dwc_otg19:21:111
884299365,17cyclictest7750irq/56-dwc_otg20:01:091
884299364,9cyclictest21-21rcuc/118:50:591
884299362,5cyclictest7950irq/56-dwc_otg_20:35:551
884299362,5cyclictest7950irq/56-dwc_otg_20:35:551
8842993618,9cyclictest16450-21/usr/sbin/munin18:21:021
8842993614,4cyclictest21924-21unixbench_singl21:46:111
8842993614,4cyclictest21924-21unixbench_singl21:46:111
8842993613,4cyclictest1651350wget21:40:581
8842993612,4cyclictest7750irq/56-dwc_otg19:31:011
69982360,5sleep2301ktimersoftd/216:25:442
69982360,5sleep2301ktimersoftd/216:25:442
884499357,5cyclictest0-21swapper/322:00:423
884499357,24cyclictest0-21swapper/318:20:553
8844993513,13cyclictest16442-21fschecks_count16:50:593
884499351,28cyclictest5897-21ls19:31:043
884299359,6cyclictest23-21ksoftirqd/116:55:431
884299359,14cyclictest0-21swapper/120:11:061
884299352,7cyclictest0-21swapper/119:50:561
884299351,8cyclictest24582-21cut18:35:581
8842993517,9cyclictest21-21rcuc/117:06:051
8842993514,6cyclictest221ktimersoftd/119:26:101
884299351,18cyclictest7950irq/56-dwc_otg_20:05:561
8842993510,3cyclictest7750irq/56-dwc_otg18:26:001
8842993510,3cyclictest7750irq/56-dwc_otg18:26:001
884499341,22cyclictest17465-21timerandwakeup21:41:113
884299349,12cyclictest0-21swapper/120:58:091
884299343,12cyclictest7950irq/56-dwc_otg_18:31:051
8842993416,10cyclictest20089-21sh19:09:261
8842993414,7cyclictest23-21ksoftirqd/121:36:111
884299341,26cyclictest0-21swapper/118:47:301
884299341,14cyclictest7750irq/56-dwc_otg21:21:101
8842993410,6cyclictest7750irq/56-dwc_otg16:56:051
884299340,3cyclictest7750irq/56-dwc_otg17:35:561
884299340,3cyclictest7750irq/56-dwc_otg17:35:561
884499339,4cyclictest0-21swapper/321:31:023
884499339,4cyclictest0-21swapper/321:31:023
884499338,15cyclictest0-21swapper/319:00:563
884499337,14cyclictest0-21swapper/317:30:493
884499337,13cyclictest39-21ksoftirqd/321:15:593
884499337,13cyclictest0-21swapper/317:15:483
884499337,10cyclictest39-21ksoftirqd/319:36:033
884499335,7cyclictest7750irq/56-dwc_otg16:41:113
884499335,12cyclictest7850irq/56-dwc_otg_18:46:123
884499333,17cyclictest381ktimersoftd/318:50:583
8844993326,5cyclictest39-21ksoftirqd/320:05:553
8844993318,4cyclictest17957-21/usr/sbin/munin19:46:043
8844993316,9cyclictest28765-21sh20:36:383
8844993316,9cyclictest28765-21sh20:36:383
8844993314,4cyclictest11432-21if_err_wlan018:05:593
884499331,22cyclictest25632-21uniq19:16:003
8844993310,12cyclictest39-21ksoftirqd/320:01:013
884299337,5cyclictest7850irq/56-dwc_otg_21:06:051
884299337,5cyclictest7850irq/56-dwc_otg_21:06:051
884299337,3cyclictest0-21swapper/116:41:001
884299336,5cyclictest7950irq/56-dwc_otg_21:15:571
884299332,6cyclictest7750irq/56-dwc_otg21:30:571
884299332,6cyclictest7750irq/56-dwc_otg21:30:571
8842993316,5cyclictest26919-21ls17:20:421
8842993313,6cyclictest14884-21seq20:20:581
8842993313,4cyclictest19825-21diskmemload19:14:591
884299331,23cyclictest4625-21ssh20:46:251
8842993312,12cyclictest21-21rcuc/117:30:031
884499327,5cyclictest7850irq/56-dwc_otg_19:21:073
884499321,22cyclictest18166-21cpuspeed16:55:573
884299328,5cyclictest221ktimersoftd/117:00:561
884299328,15cyclictest0-21swapper/121:00:571
884299323,12cyclictest7750irq/56-dwc_otg17:31:101
884299322,20cyclictest7950irq/56-dwc_otg_17:21:051
8842993216,5cyclictest23-21ksoftirqd/119:05:421
884299321,19cyclictest0-21swapper/121:15:391
8842993210,10cyclictest0-21swapper/119:15:551
884499314,16cyclictest39-21ksoftirqd/318:37:123
884499311,22cyclictest0-21swapper/317:46:033
8844993110,13cyclictest23038-21/usr/sbin/munin20:31:023
8844993110,12cyclictest25577-21systemd-journal17:28:203
884299317,5cyclictest7750irq/56-dwc_otg18:40:581
884299316,4cyclictest0-21swapper/116:45:541
884299311,14cyclictest7950irq/56-dwc_otg_18:06:071
884499309,6cyclictest0-21swapper/321:36:003
884499306,6cyclictest7950irq/56-dwc_otg_18:01:103
884499302,9cyclictest0-21swapper/317:40:543
884499301,26cyclictest755-21ls17:36:043
884499301,26cyclictest755-21ls17:36:043
8844993012,10cyclictest939-21lldpd18:18:283
884499295,5cyclictest39-21ksoftirqd/319:05:583
884499288,5cyclictest7750irq/56-dwc_otg17:23:193
884499283,5cyclictest7750irq/56-dwc_otg16:30:563
8842992819,6cyclictest10905-21fschecks_count16:35:591
82422272,15sleep30-21swapper/316:26:353
82422272,15sleep30-21swapper/316:26:353
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional