You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-05-13 - 18:47

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot3s.osadl.org (updated Wed May 13, 2026 12:43:38)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2389821680,5sleep21631499cyclictest20:22:532
2557521000,2sleep10-21swapper/121:43:241
1630399934,59cyclictest0-21swapper/018:21:090
1630399934,59cyclictest0-21swapper/018:21:090
253862920,2sleep025384-21ssh19:46:110
16303998982,5cyclictest0-21swapper/019:58:580
16303998982,5cyclictest0-21swapper/019:58:580
16303998813,51cyclictest10158-21grep17:41:240
16303998715,45cyclictest0-21swapper/018:36:120
16303998710,66cyclictest18933-21grep20:16:260
1630399868,50cyclictest23348-21apt-get16:50:580
16303998341,3cyclictest0-21swapper/019:01:090
86382820,5sleep28641-21unixbench-2d17:36:262
1630399825,49cyclictest0-21swapper/016:31:010
1630399769,56cyclictest7291-21ls21:21:170
16303997613,46cyclictest27086-21ssh20:26:260
16303997613,46cyclictest27086-21ssh20:26:260
16303997613,43cyclictest25519-21tr16:56:130
16303997516,39cyclictest0-21swapper/021:46:100
284072740,10sleep3381ktimersoftd/319:49:363
1630399748,51cyclictest16053-21awk18:55:590
159012730,3sleep30-21swapper/320:13:193
1630399729,49cyclictest0-21swapper/019:41:580
1630399722,34cyclictest0-21swapper/020:06:090
16303997216,40cyclictest16488-21ssh20:53:230
16303997216,40cyclictest16488-21ssh20:53:230
16303997210,42cyclictest28372-21grep17:01:260
1630399719,45cyclictest5766-21grep19:21:260
1630399719,36cyclictest20279-21aten_rbpower_en18:11:120
1630399717,48cyclictest0-21swapper/019:36:120
1630399708,41cyclictest7477-21ls17:35:590
16303997010,48cyclictest0-21swapper/019:11:230
16303997010,43cyclictest2930-21sed20:36:260
116682700,1sleep10-21swapper/120:47:071
1630399698,43cyclictest0-21swapper/019:16:210
1630399698,15cyclictest0-21swapper/018:56:130
1630399695,61cyclictest0-21swapper/019:55:210
1630399686,45cyclictest0-21swapper/017:49:510
1630399686,27cyclictest0-21swapper/016:40:590
1630399686,27cyclictest0-21swapper/016:40:590
16303996815,29cyclictest19027-21/usr/sbin/munin21:36:080
16303996811,39cyclictest8212-21ls17:36:200
16303996810,49cyclictest12911-21ssh19:31:120
326662670,2sleep20-21swapper/220:33:522
1630399678,45cyclictest0-21swapper/021:45:590
1630399673,54cyclictest0-21swapper/020:56:100
16303996710,49cyclictest18150-21taskset18:05:430
239422660,4sleep09-21ksoftirqd/016:51:160
1630399666,42cyclictest0-21swapper/018:33:270
1630399658,45cyclictest6811-21ssh20:01:480
16303996518,28cyclictest3979-21fschecks_time18:41:160
16303996511,31cyclictest6467-21ls21:20:580
1630399645,44cyclictest7481-21ssh20:41:590
1630399645,44cyclictest0-21swapper/021:01:510
1630399637,43cyclictest0-21swapper/019:10:450
1630399634,46cyclictest0-21swapper/021:13:230
1630399634,46cyclictest0-21swapper/021:13:230
1630399626,42cyclictest27410-21latency_hist18:30:590
1630399625,40cyclictest0-21swapper/021:56:260
1630399624,43cyclictest0-21swapper/021:32:230
258202610,4sleep125809-21ssh19:46:161
1630399617,40cyclictest0-21swapper/017:27:590
1630399617,39cyclictest0-21swapper/021:07:450
1630399615,43cyclictest0-21swapper/018:50:300
1630399614,41cyclictest973-21ssh21:52:390
1630399614,40cyclictest0-21swapper/020:11:240
1630399605,42cyclictest0-21swapper/018:19:260
1630399596,33cyclictest0-21swapper/021:26:230
1630399587,40cyclictest1733-21chrt17:19:580
1630399584,41cyclictest0-21swapper/019:26:180
1630399583,44cyclictest0-21swapper/020:47:390
1630399578,39cyclictest0-21swapper/017:57:400
1630399576,43cyclictest0-21swapper/017:09:450
1630399574,42cyclictest0-21swapper/020:22:120
1630399565,38cyclictest0-21swapper/016:43:220
1630399563,35cyclictest0-21swapper/020:31:070
16303995410,34cyclictest0-21swapper/017:14:380
16303995410,34cyclictest0-21swapper/017:14:380
16303995310,25cyclictest18744-21fschecks_time18:06:150
149372530,2sleep20-21swapper/220:11:332
16303995216,17cyclictest908-21runrttasks17:51:080
1632699502,5cyclictest7950irq/56-dwc_otg_19:56:093
1632699502,5cyclictest7950irq/56-dwc_otg_19:56:093
1630399506,41cyclictest0-21swapper/017:22:350
138322500,6sleep31632699cyclictest19:31:243
102802500,5sleep31632699cyclictest19:26:573
1631199495,26cyclictest16946-21ssh19:36:111
16326994820,17cyclictest1416350wget20:51:123
16326994820,17cyclictest1416350wget20:51:123
1631199486,24cyclictest0-21swapper/121:26:111
16311994812,23cyclictest0-21swapper/118:01:121
162982480,5sleep10-21swapper/116:31:001
1632699477,24cyclictest0-21swapper/317:01:123
1632699466,25cyclictest0-21swapper/319:36:113
16314994640,4cyclictest301ktimersoftd/218:51:152
1631199468,25cyclictest0-21swapper/120:36:111
1631199467,23cyclictest0-21swapper/117:36:031
1632699457,23cyclictest0-21swapper/321:11:103
1632699457,23cyclictest0-21swapper/321:11:103
1631199457,24cyclictest0-21swapper/121:01:031
1631199455,25cyclictest6701-21ssh21:21:101
16311994520,5cyclictest29600-21aten_rbpower_po19:51:121
1632699447,25cyclictest0-21swapper/321:26:113
156492442,14sleep00-21swapper/016:27:000
1631199437,24cyclictest0-21swapper/116:51:121
1631199437,23cyclictest0-21swapper/119:56:101
1631199437,23cyclictest0-21swapper/119:56:101
1631199435,29cyclictest7850irq/56-dwc_otg_17:00:591
1631199433,4cyclictest7750irq/56-dwc_otg20:41:121
36012420,17sleep17950irq/56-dwc_otg_19:19:511
1632699427,25cyclictest0-21swapper/316:51:033
1632699427,25cyclictest0-21swapper/316:31:053
16311994219,5cyclictest11620-21if_eth017:46:171
16311994213,16cyclictest0-21swapper/121:11:101
16311994213,16cyclictest0-21swapper/121:11:101
132532420,3sleep213254-21dhclient-script20:50:022
1632699411,7cyclictest7950irq/56-dwc_otg_20:01:083
1631199411,16cyclictest0-21swapper/116:40:591
1631199411,16cyclictest0-21swapper/116:40:591
16311994110,21cyclictest0-21swapper/120:26:571
16311994110,21cyclictest0-21swapper/120:26:571
284342400,2sleep231-21ksoftirqd/219:10:582
259672400,2sleep30-21swapper/320:26:123
259672400,2sleep30-21swapper/320:26:123
1631499401,18cyclictest0-21swapper/219:21:172
1631199404,21cyclictest7850irq/56-dwc_otg_19:31:161
1631199401,24cyclictest0-21swapper/120:01:111
218312390,2sleep231-21ksoftirqd/219:01:282
1631199399,17cyclictest31304-21unixbench_multi20:31:291
1631199397,22cyclictest0-21swapper/117:06:101
1631199394,5cyclictest7850irq/56-dwc_otg_20:55:581
1631199394,5cyclictest7850irq/56-dwc_otg_20:55:581
1632699385,19cyclictest26692-21ssh21:06:043
16326993818,12cyclictest29797-21fschecks_count19:51:153
16314993814,6cyclictest32565-21latency_hist17:15:592
16314993814,6cyclictest32565-21latency_hist17:15:592
1631199389,13cyclictest0-21swapper/120:21:161
1631199385,19cyclictest7750irq/56-dwc_otg19:44:581
1631199381,13cyclictest4752-21cpuspeed19:21:131
16326993717,11cyclictest29784-21ssh21:48:333
1631499373,10cyclictest11-21rcu_preempt21:11:082
1631499373,10cyclictest11-21rcu_preempt21:11:082
16314993717,5cyclictest4411-21sh20:38:562
1631499371,4cyclictest0-21swapper/219:11:162
16311993717,4cyclictest329-21aten_rbpower_vo17:16:121
16311993712,16cyclictest21972-21ssh21:39:221
48142361,31sleep30-21swapper/321:57:073
263862360,5sleep21631499cyclictest21:44:532
1632699366,5cyclictest0-21swapper/318:41:143
1632699364,6cyclictest7950irq/56-dwc_otg_21:00:593
16326993612,4cyclictest32081-21missed_timers21:51:183
1631499366,7cyclictest7950irq/56-dwc_otg_18:06:092
1631199366,6cyclictest7750irq/56-dwc_otg18:35:581
1631199366,18cyclictest0-21swapper/121:06:041
16311993620,4cyclictest14024-21sh18:52:281
138232360,5sleep11631199cyclictest17:51:231
1632699355,12cyclictest7950irq/56-dwc_otg_19:21:163
1632699353,19cyclictest0-21swapper/317:15:593
1632699353,19cyclictest0-21swapper/317:15:593
16326993518,5cyclictest19966-21/usr/sbin/munin16:41:143
1632699351,22cyclictest18814-21ls20:16:253
16326993512,10cyclictest0-21swapper/319:16:163
1632699351,19cyclictest7950irq/56-dwc_otg_18:11:163
16326993511,5cyclictest12714-21sh20:49:033
1631499353,8cyclictest7850irq/56-dwc_otg_18:20:592
1631499352,10cyclictest15991-21apt-get16:31:012
16314993514,5cyclictest16746-21fschecks_time18:56:172
1631199359,14cyclictest7950irq/56-dwc_otg_21:51:201
1631199357,5cyclictest7950irq/56-dwc_otg_18:21:261
1631199357,5cyclictest7950irq/56-dwc_otg_18:21:261
1631199357,14cyclictest7950irq/56-dwc_otg_19:01:261
16311993517,4cyclictest5600-21sh21:19:371
16311993512,6cyclictest25577-21systemd-journal20:14:321
1631199351,23cyclictest3823-21ls18:41:131
1631199351,18cyclictest20372-21ls19:00:591
1632699349,5cyclictest22857-21unixbench_multi16:46:263
1632699347,4cyclictest0-21swapper/319:01:153
1632699345,20cyclictest22476-21ssh21:01:033
1632699342,4cyclictest7750irq/56-dwc_otg18:01:113
16326993410,14cyclictest0-21swapper/318:56:463
1631499346,7cyclictest7850irq/56-dwc_otg_18:01:152
16314993423,4cyclictest31-21ksoftirqd/221:46:122
1631499341,8cyclictest2117750ssh19:41:112
16314993414,8cyclictest9654-21idleruntime-cro20:45:582
16314993413,4cyclictest0-21swapper/219:36:112
16314993412,11cyclictest0-21swapper/220:16:102
16314993410,5cyclictest7750irq/56-dwc_otg18:21:092
16314993410,5cyclictest7750irq/56-dwc_otg18:21:092
1631199348,11cyclictest0-21swapper/119:26:181
1631199346,15cyclictest32572-21latency_hist17:15:591
1631199346,15cyclictest32572-21latency_hist17:15:591
1631199345,15cyclictest7950irq/56-dwc_otg_20:06:271
1631199342,4cyclictest0-21swapper/118:50:111
165092330,9sleep2301ktimersoftd/221:31:532
1632699336,15cyclictest0-21swapper/320:36:113
1632699335,3cyclictest0-21swapper/319:08:103
1632699334,6cyclictest39-21ksoftirqd/319:41:023
16326993318,7cyclictest7850irq/56-dwc_otg_18:39:373
1632699331,22cyclictest8060-21ls18:46:123
1631499339,5cyclictest31-21ksoftirqd/219:35:582
1631499339,4cyclictest0-21swapper/220:28:532
1631499339,4cyclictest0-21swapper/220:28:532
1631499338,4cyclictest0-21swapper/219:26:182
1631499338,12cyclictest24015-21fschecks_time16:51:172
1631499332,17cyclictest7850irq/56-dwc_otg_20:01:112
16314993318,12cyclictest7950irq/56-dwc_otg_20:06:092
1631499331,10cyclictest0-21swapper/221:55:182
1631199339,5cyclictest0-21swapper/119:13:541
1631199339,4cyclictest0-21swapper/118:40:341
1631199336,18cyclictest21-21rcuc/120:16:091
1631199335,13cyclictest7850irq/56-dwc_otg_16:50:591
1631199331,4cyclictest7950irq/56-dwc_otg_17:01:131
16311993314,5cyclictest25803-21cpuspeed18:26:111
16311993311,12cyclictest0-21swapper/119:10:151
16311993310,11cyclictest7950irq/56-dwc_otg_20:58:331
1632699327,10cyclictest7950irq/56-dwc_otg_17:56:193
1632699326,14cyclictest0-21swapper/317:46:113
16326993221,9cyclictest7950irq/56-dwc_otg_18:51:243
16326993212,4cyclictest7850irq/56-dwc_otg_21:16:483
1632699321,22cyclictest8429-21switchtime17:36:243
16326993210,11cyclictest0-21swapper/320:24:233
1631499325,6cyclictest7850irq/56-dwc_otg_18:15:592
1631499325,18cyclictest1286-21ssh19:56:112
1631499325,18cyclictest1286-21ssh19:56:112
16314993214,9cyclictest28865-21latency_hist17:05:592
16314993213,5cyclictest22431-21test21:00:592
1631499321,15cyclictest14969-21ssh20:51:242
1631499321,15cyclictest14969-21ssh20:51:242
1631499321,14cyclictest8578-21ssh21:22:302
16314993211,4cyclictest20521-21sh21:36:422
1631199329,5cyclictest7950irq/56-dwc_otg_18:16:231
1631199327,13cyclictest7950irq/56-dwc_otg_17:21:161
1631199327,10cyclictest7950irq/56-dwc_otg_21:56:181
1631199321,7cyclictest28217-21ssh21:46:231
158562323,20sleep30-21swapper/316:29:383
1632699318,4cyclictest0-21swapper/321:36:093
1632699317,15cyclictest0-21swapper/319:11:103
1632699315,5cyclictest7750irq/56-dwc_otg21:41:273
1632699311,3cyclictest7950irq/56-dwc_otg_20:31:013
1632699311,23cyclictest24750-21timerandwakeup18:21:243
1632699311,23cyclictest24750-21timerandwakeup18:21:243
16326993112,12cyclictest0-21swapper/318:31:263
1632699311,14cyclictest7950irq/56-dwc_otg_16:56:183
1631499318,4cyclictest29-21rcuc/221:28:002
1631499316,13cyclictest7950irq/56-dwc_otg_19:16:132
16314993122,3cyclictest7950irq/56-dwc_otg_21:56:092
1631499311,24cyclictest15758-21timerandwakeup17:56:242
1631499311,12cyclictest7750irq/56-dwc_otg18:26:222
16314993110,10cyclictest0-21swapper/219:49:482
1631199319,4cyclictest5983-21fschecks_time17:31:151
1631199319,4cyclictest0-21swapper/121:32:121
1631199318,9cyclictest0-21swapper/116:45:581
144242315,10sleep20-21swapper/216:26:132
186502300,2sleep30-21swapper/318:06:143
1632699309,4cyclictest7950irq/56-dwc_otg_18:16:243
1632699304,11cyclictest7950irq/56-dwc_otg_21:31:203
1632699302,8cyclictest25577-21systemd-journal18:30:583
1632699301,6cyclictest12418-21ssh20:09:323
1632699301,3cyclictest7850irq/56-dwc_otg_20:42:193
1632699301,14cyclictest0-21swapper/317:30:583
16326993010,4cyclictest10579-21date21:25:583
1631499308,4cyclictest0-21swapper/218:41:132
1631499305,18cyclictest908-21runrttasks19:53:072
1631499304,6cyclictest7850irq/56-dwc_otg_20:56:282
1631499304,4cyclictest7850irq/56-dwc_otg_17:41:162
1631499302,7cyclictest8200-21fschecks_time18:46:142
1631499302,21cyclictest0-21swapper/216:46:532
1631499301,6cyclictest26337-21apt-get21:06:062
16314993013,4cyclictest908-21runrttasks18:37:282
1631199308,14cyclictest0-21swapper/117:26:231
1631199303,12cyclictest7850irq/56-dwc_otg_18:11:131
1632699298,6cyclictest2280-21taskset17:21:143
16326992922,4cyclictest29130-21aten_rbpower_cu17:06:103
1632699291,18cyclictest0-21swapper/317:16:303
1631499299,5cyclictest7850irq/56-dwc_otg_21:16:092
1631499295,11cyclictest7950irq/56-dwc_otg_17:51:192
1631499294,11cyclictest7950irq/56-dwc_otg_17:06:212
1631499293,8cyclictest2676-21missed_timers17:21:202
1631499293,4cyclictest0-21swapper/217:26:122
16314992910,4cyclictest0-21swapper/218:34:392
1631199293,7cyclictest10502-21grep17:41:271
1631499286,10cyclictest7750irq/56-dwc_otg16:56:112
1631499283,13cyclictest7950irq/56-dwc_otg_16:36:272
1631499283,13cyclictest7950irq/56-dwc_otg_16:36:272
16314992822,4cyclictest5707-21aten_rbpower_cu17:31:122
1631199286,4cyclictest15313-21ls17:56:171
1632699277,5cyclictest7950irq/56-dwc_otg_17:51:163
1632699272,4cyclictest9407-21apt-get17:41:113
1631499273,12cyclictest12904-21latency_hist17:50:592
1631499272,5cyclictest7850irq/56-dwc_otg_17:16:082
156352273,14sleep10-21swapper/116:26:481
1632699261,15cyclictest0-21swapper/316:36:203
1632699261,15cyclictest0-21swapper/316:36:203
1631499261,5cyclictest7750irq/56-dwc_otg16:41:202
1631199262,6cyclictest7950irq/56-dwc_otg_18:06:231
1632699252,5cyclictest6148-21uname17:31:183
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional