You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-05-14 - 18:41

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack7slot3s.osadl.org (updated Thu May 14, 2026 12:43:36)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1457721670,4sleep2576899cyclictest16:55:592
57669910228,61cyclictest4443-21ls20:50:590
5766999621,54cyclictest8458-21ssh20:16:140
5766999223,53cyclictest4573-21grep17:56:190
321402920,2sleep00-21swapper/020:44:550
5766999124,45cyclictest24362-21ssh19:56:160
5766999124,45cyclictest24362-21ssh19:56:160
5766999029,47cyclictest0-21swapper/021:46:200
5766999024,46cyclictest1742-21cut18:51:150
576699887,23cyclictest0-21swapper/018:56:090
576699887,23cyclictest0-21swapper/018:56:090
5766998829,41cyclictest3072-21/usr/sbin/munin17:51:230
5766998824,53cyclictest16912-21ssh18:31:120
5767998712,38cyclictest7950irq/56-dwc_otg_18:26:051
5767998712,38cyclictest7950irq/56-dwc_otg_18:26:051
5766998729,42cyclictest22407-21ls21:11:250
5766998724,45cyclictest0-21swapper/016:46:160
5766998721,52cyclictest0-21swapper/016:40:580
5766998628,46cyclictest28680-21ssh21:19:580
5766998626,43cyclictest24345-21sh18:39:430
5766998625,42cyclictest0-21swapper/019:36:260
5766998529,11cyclictest0-21swapper/019:51:100
5766998526,48cyclictest21099-21chrt19:13:400
5766998526,45cyclictest20705-21aten_rbpower_en20:31:110
5766998526,45cyclictest20705-21aten_rbpower_en20:31:110
5766998430,30cyclictest30175-21cat18:46:190
5766998424,43cyclictest31559-21seq21:22:310
5766998423,49cyclictest29811-21ssh20:02:000
5766998327,40cyclictest420-21cut17:46:130
5766998321,46cyclictest29490-21ssh21:59:590
5766998321,46cyclictest29490-21ssh21:59:590
5766998229,37cyclictest25577-21systemd-journal20:39:270
5766998229,37cyclictest22752-21apt-get19:16:100
5766998227,40cyclictest15001-21aten_rbpower_cu18:26:120
5766998227,40cyclictest15001-21aten_rbpower_cu18:26:120
5766998224,41cyclictest30818-21modprobe17:40:590
5766998224,13cyclictest15920-21grep16:56:250
5766998222,50cyclictest0-21swapper/020:51:230
5766998221,48cyclictest0-21swapper/018:45:150
5766998221,45cyclictest908-21runrttasks20:56:440
80472810,2sleep10-21swapper/118:58:111
80472810,2sleep10-21swapper/118:58:111
5766998129,40cyclictest657-21rm19:27:210
5766998129,40cyclictest657-21rm19:27:210
5766998127,40cyclictest19478-21ssh21:08:140
5766998126,43cyclictest17495-21ssh21:45:520
5766998126,42cyclictest13602-21sed16:51:190
5766998121,47cyclictest12465-21ssh19:41:230
5766998024,23cyclictest7203-21latency_hist19:35:590
5766998021,43cyclictest0-21swapper/019:50:290
5766997924,38cyclictest25246-21rm21:54:460
5766997923,47cyclictest16475-21ssh21:05:190
5766997923,47cyclictest16475-21ssh21:05:190
5766997923,41cyclictest22024-21/usr/sbin/munin17:16:200
5766997922,36cyclictest27486-21ssh19:21:160
5766997919,42cyclictest0-21swapper/019:02:070
5766997827,32cyclictest10046-21ls16:41:180
5766997826,41cyclictest5826-21fschecks_time21:31:160
5766997824,37cyclictest15610-21taskset20:24:570
5766997822,47cyclictest10972-21taskset18:15:280
5766997818,47cyclictest0-21swapper/021:37:250
5766997728,38cyclictest17288-21/usr/sbin/munin20:26:210
5766997725,37cyclictest7072-21chrt18:01:420
5766997722,40cyclictest0-21swapper/020:13:250
5766997626,11cyclictest14929-21sed19:06:210
5766997621,41cyclictest0-21swapper/017:45:500
5766997615,49cyclictest0-21swapper/021:26:240
5766997426,34cyclictest1888-21sh20:07:420
5766997422,40cyclictest0-21swapper/017:24:570
5766997418,48cyclictest0-21swapper/017:09:410
215982730,2sleep10-21swapper/119:14:331
115342730,3sleep111536-21fschecks_time16:46:151
5766997232,37cyclictest0-21swapper/016:30:590
5766997224,32cyclictest0-21swapper/017:12:140
5766997224,32cyclictest0-21swapper/017:12:140
5766997222,26cyclictest28768-21chrt17:33:040
5766997124,36cyclictest0-21swapper/018:25:530
5766997119,41cyclictest0-21swapper/017:04:100
5766997023,34cyclictest26948-21taskset17:27:530
5766997022,28cyclictest8973-21sshd18:07:560
5769996736,27cyclictest7950irq/56-dwc_otg_21:01:093
5769996736,27cyclictest7950irq/56-dwc_otg_21:01:093
576799676,5cyclictest7950irq/56-dwc_otg_21:11:161
5767996610,39cyclictest0-21swapper/121:40:341
576799648,5cyclictest7750irq/56-dwc_otg18:31:221
576799646,10cyclictest7950irq/56-dwc_otg_20:16:281
5766996420,28cyclictest0-21swapper/018:20:310
576799632,5cyclictest7850irq/56-dwc_otg_19:16:181
576799631,12cyclictest7850irq/56-dwc_otg_21:25:321
576799627,4cyclictest7850irq/56-dwc_otg_20:51:111
576799622,7cyclictest2537-21fschecks_time17:51:151
576999612,5cyclictest7750irq/56-dwc_otg21:26:093
576799612,4cyclictest0-21swapper/119:21:211
576799611,4cyclictest19060-21ls21:46:241
576799597,4cyclictest0-21swapper/120:41:301
576799594,10cyclictest7750irq/56-dwc_otg19:46:151
576799593,12cyclictest0-21swapper/119:01:121
576799591,4cyclictest7950irq/56-dwc_otg_18:51:261
295402590,1sleep30-21swapper/319:23:333
576899583,37cyclictest0-21swapper/218:56:102
576899583,37cyclictest0-21swapper/218:56:102
576799586,6cyclictest7850irq/56-dwc_otg_16:35:581
576799583,6cyclictest7750irq/56-dwc_otg21:51:101
576799583,6cyclictest61-21kswapd019:06:101
576799582,11cyclictest5122-21unixbench-2d17:56:271
576799581,15cyclictest0-21swapper/120:25:311
576799576,8cyclictest7950irq/56-dwc_otg_20:02:091
576799574,11cyclictest7750irq/56-dwc_otg20:59:311
576799565,4cyclictest7950irq/56-dwc_otg_19:36:151
576799562,5cyclictest7950irq/56-dwc_otg_20:37:081
576799561,5cyclictest7850irq/56-dwc_otg_19:30:281
576799561,5cyclictest7850irq/56-dwc_otg_19:30:281
576799561,5cyclictest7750irq/56-dwc_otg21:57:201
576799561,5cyclictest7750irq/56-dwc_otg21:57:201
576799561,4cyclictest7950irq/56-dwc_otg_19:53:561
576799554,4cyclictest9550irq/80-mmc016:45:591
576799551,4cyclictest0-21swapper/121:05:371
576799551,4cyclictest0-21swapper/121:05:371
576899544,31cyclictest7850irq/56-dwc_otg_20:51:242
576899542,10cyclictest0-21swapper/217:26:102
576799542,11cyclictest7950irq/56-dwc_otg_18:37:221
576799541,3cyclictest7750irq/56-dwc_otg21:34:451
576799539,4cyclictest0-21swapper/120:31:171
576799539,4cyclictest0-21swapper/120:31:171
576799534,7cyclictest7950irq/56-dwc_otg_21:17:191
576799532,4cyclictest0-21swapper/120:49:431
576799532,3cyclictest7950irq/56-dwc_otg_19:42:001
576799532,11cyclictest0-21swapper/117:01:441
576799531,9cyclictest24809-21ntpq19:56:211
576799531,9cyclictest24809-21ntpq19:56:211
576999526,7cyclictest24782-21ssh20:36:103
576899523,8cyclictest29687-21ssh18:46:122
576799528,35cyclictest0-21swapper/119:33:561
576799527,5cyclictest20275-21rm20:30:541
576799521,5cyclictest7888-21tune2fs16:36:151
576799521,15cyclictest0-21swapper/118:48:341
576799515,5cyclictest7850irq/56-dwc_otg_18:42:371
576799513,4cyclictest9550irq/80-mmc018:15:591
576799513,4cyclictest2138-21ntp_states21:26:221
576799512,3cyclictest7750irq/56-dwc_otg18:10:151
576799511,5cyclictest32622-21modprobe17:45:591
576899504,12cyclictest21146-21ssh18:36:092
576799507,4cyclictest756-21fschecks_time17:46:171
576799505,11cyclictest7750irq/56-dwc_otg17:26:101
576799502,8cyclictest16251-21ssh21:43:361
576799502,5cyclictest0-21swapper/117:21:111
576799502,4cyclictest14804-21latency_hist18:25:591
576799502,4cyclictest0-21swapper/118:20:591
576799495,4cyclictest0-21swapper/120:12:431
576799492,9cyclictest6745-21switchtime18:01:251
576799492,5cyclictest23495-21taskset17:19:521
576799491,4cyclictest0-21swapper/116:54:231
576799491,3cyclictest7850irq/56-dwc_otg_20:07:521
576999482,10cyclictest7750irq/56-dwc_otg19:56:103
576999482,10cyclictest7750irq/56-dwc_otg19:56:103
576799481,39cyclictest0-21swapper/121:08:431
53202483,11sleep00-21swapper/016:28:430
53202483,11sleep00-21swapper/016:28:430
576999477,25cyclictest0-21swapper/317:06:103
576899477,15cyclictest0-21swapper/219:50:572
576899476,26cyclictest0-21swapper/217:31:112
576799471,10cyclictest15966-21grep16:56:261
576999467,24cyclictest0-21swapper/318:26:043
576999467,24cyclictest0-21swapper/318:26:043
576899467,25cyclictest0-21swapper/220:01:122
576899466,26cyclictest16924-21ssh18:31:132
5768994619,12cyclictest7950irq/56-dwc_otg_19:10:592
5768994614,16cyclictest7850irq/56-dwc_otg_19:13:252
576799464,7cyclictest7950irq/56-dwc_otg_17:14:411
576799464,7cyclictest7950irq/56-dwc_otg_17:14:411
576899459,16cyclictest27169-21ssh21:17:122
576899459,12cyclictest18867-21ssh20:28:202
576899457,28cyclictest29599-21ssh21:21:042
5769994413,16cyclictest0-21swapper/321:21:193
576899448,12cyclictest16018-21ssh21:43:102
576899447,25cyclictest7750irq/56-dwc_otg17:51:112
576899447,12cyclictest10351-21ssh19:39:222
576899446,23cyclictest8289-21ssh20:16:132
576799441,4cyclictest19682-21taskset17:07:121
5769994318,11cyclictest26678-21ls19:20:593
576899437,23cyclictest0-21swapper/219:16:122
576899433,7cyclictest7750irq/56-dwc_otg19:51:102
576899432,26cyclictest0-21swapper/221:31:112
5768994315,17cyclictest301ktimersoftd/217:56:252
576799431,4cyclictest0-21swapper/117:40:451
5767994310,4cyclictest908-21runrttasks17:32:391
576999427,25cyclictest0-21swapper/317:51:113
576899427,24cyclictest0-21swapper/220:46:112
576899427,22cyclictest0-21swapper/216:31:132
576899421,6cyclictest30047-21latency_hist22:00:592
576899421,6cyclictest30047-21latency_hist22:00:592
5768994213,13cyclictest301ktimersoftd/221:46:152
5768994212,11cyclictest301ktimersoftd/218:41:182
5768994210,6cyclictest301ktimersoftd/221:40:592
576999416,26cyclictest7950irq/56-dwc_otg_20:51:093
576899418,17cyclictest7750irq/56-dwc_otg16:46:192
5768994117,14cyclictest0-21swapper/216:41:112
5769994016,8cyclictest37-21rcuc/318:31:233
5769994011,4cyclictest0-21swapper/318:41:093
576899408,13cyclictest14285-21ssh20:22:302
5768994022,9cyclictest7750irq/56-dwc_otg19:24:562
5768994013,16cyclictest301ktimersoftd/221:11:142
576899401,25cyclictest23246-21ssh20:33:472
576899401,25cyclictest23246-21ssh20:33:472
5768994012,10cyclictest301ktimersoftd/219:33:372
576899397,24cyclictest24799-21ssh20:36:112
576899397,12cyclictest1823-21perl18:51:152
576899396,14cyclictest7950irq/56-dwc_otg_20:56:152
5768993921,9cyclictest7850irq/56-dwc_otg_19:56:172
5768993921,9cyclictest7850irq/56-dwc_otg_19:56:172
5768993910,8cyclictest7612-21apt-get16:36:122
5769993821,5cyclictest27166-21sh21:56:253
5769993821,5cyclictest27166-21sh21:56:253
5769993821,12cyclictest37-21rcuc/320:46:093
5769993817,5cyclictest28132-21ntp_offset17:31:203
5769993811,4cyclictest0-21swapper/321:06:133
5769993811,19cyclictest0-21swapper/321:17:103
576899387,21cyclictest0-21swapper/218:26:042
576899387,21cyclictest0-21swapper/218:26:042
576899384,6cyclictest32344-21ssh20:06:112
576899382,23cyclictest0-21swapper/221:51:092
5768993819,11cyclictest950-21ssh19:27:522
5768993819,11cyclictest950-21ssh19:27:522
49552388,11sleep20-21swapper/216:26:272
49552388,11sleep20-21swapper/216:26:272
28582381,2sleep30-21swapper/318:51:343
576999376,19cyclictest0-21swapper/318:11:123
576999372,19cyclictest0-21swapper/319:01:353
5769993716,5cyclictest20879-21sh20:31:123
5769993716,5cyclictest20879-21sh20:31:123
576999371,4cyclictest0-21swapper/320:56:113
576999371,24cyclictest12721-21ls19:41:263
5769993710,11cyclictest766-21ssh20:06:233
576899377,9cyclictest0-21swapper/221:28:382
5768993716,5cyclictest301ktimersoftd/217:46:142
5769993614,5cyclictest6048-21fschecks_time18:56:153
5769993614,5cyclictest6048-21fschecks_time18:56:153
5769993613,5cyclictest7750irq/56-dwc_otg19:06:223
576999361,23cyclictest16186-21latency_hist20:25:593
576999361,23cyclictest0-21swapper/317:11:123
576999361,23cyclictest0-21swapper/317:11:123
5769993612,12cyclictest10338-21ssh21:36:203
576899368,13cyclictest11915-21sh19:02:302
576899367,20cyclictest0-21swapper/216:56:112
576899364,3cyclictest0-21swapper/221:01:122
576899364,3cyclictest0-21swapper/221:01:122
5768993618,10cyclictest7950irq/56-dwc_otg_20:11:012
5768993611,12cyclictest7750irq/56-dwc_otg17:06:492
5768993611,11cyclictest7950irq/56-dwc_otg_18:20:362
576999356,15cyclictest0-21swapper/317:16:123
576999351,6cyclictest18295-21grep21:46:153
5769993512,5cyclictest908-21runrttasks21:44:013
576899357,16cyclictest0-21swapper/219:41:352
576899353,13cyclictest14664-21ls18:25:592
5768993515,8cyclictest7950irq/56-dwc_otg_17:38:052
576899351,23cyclictest0-21swapper/217:16:162
576899351,21cyclictest0-21swapper/221:07:292
5768993512,13cyclictest23944-21basename17:21:122
576999345,5cyclictest7750irq/56-dwc_otg16:51:253
576999345,19cyclictest29693-21ssh18:46:133
5769993422,8cyclictest39-21ksoftirqd/316:56:093
576999341,7cyclictest22425-21ls19:15:593
576999341,17cyclictest0-21swapper/319:31:163
5769993410,4cyclictest28986-21open_files20:01:223
576899342,2cyclictest0-21swapper/218:01:122
84682330,2sleep20-21swapper/218:06:232
576999338,15cyclictest0-21swapper/321:31:123
576999335,15cyclictest7850irq/56-dwc_otg_21:51:233
576999332,18cyclictest0-21swapper/318:01:223
576999331,16cyclictest7750irq/56-dwc_otg19:50:593
576899339,4cyclictest7850irq/56-dwc_otg_17:45:592
576999327,5cyclictest29097-21cpu20:41:123
576999323,6cyclictest14223-21head18:21:283
5769993222,6cyclictest11589-21fschecks_time18:16:173
576999321,4cyclictest0-21swapper/319:53:223
576999321,21cyclictest7895-21cut16:36:163
576999321,11cyclictest0-21swapper/319:36:383
53212325,18sleep1917-21snmpd16:28:441
53212325,18sleep1917-21snmpd16:28:441
576999317,14cyclictest0-21swapper/320:16:043
576999314,4cyclictest0-21swapper/320:16:003
576999314,3cyclictest7750irq/56-dwc_otg21:11:183
576999312,8cyclictest4163-21grep17:56:133
576999312,19cyclictest0-21swapper/318:36:093
576899318,4cyclictest7750irq/56-dwc_otg20:45:212
576899314,18cyclictest7850irq/56-dwc_otg_17:01:262
576899312,10cyclictest7850irq/56-dwc_otg_18:11:132
5768993110,5cyclictest0-21swapper/217:11:152
5768993110,5cyclictest0-21swapper/217:11:152
576999308,7cyclictest7950irq/56-dwc_otg_18:06:263
576999306,7cyclictest468-21cut17:46:133
576999305,11cyclictest7950irq/56-dwc_otg_17:21:123
576999304,5cyclictest7850irq/56-dwc_otg_16:41:253
576999304,12cyclictest7950irq/56-dwc_otg_20:26:243
5769993010,5cyclictest0-21swapper/319:28:323
5769993010,5cyclictest0-21swapper/319:28:323
5769992921,6cyclictest32633-21sh17:45:593
576999284,16cyclictest0-21swapper/316:31:123
576999284,13cyclictest7950irq/56-dwc_otg_17:01:263
576999282,8cyclictest30927-21latency_hist17:40:593
576999282,13cyclictest7750irq/56-dwc_otg16:46:123
5769992820,5cyclictest27186-21cron17:30:583
51712274,15sleep30-21swapper/316:26:483
51712274,15sleep30-21swapper/316:26:483
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional