You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-08-21 - 08:08

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot3s.osadl.org (updated Fri Aug 21, 2026 00:43:45)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
604025570,5sleep10-21swapper/119:05:231
604025570,5sleep10-21swapper/119:05:231
665621730,5sleep2765499cyclictest22:13:012
7655991357,102cyclictest24083-21/usr/sbin/munin21:55:403
7655991273,96cyclictest26705-21wc23:55:323
76529912720,100cyclictest101ktimersoftd/022:20:350
76549911110,20cyclictest7651-21cyclictest23:50:232
76559910717,60cyclictest0-21swapper/300:30:153
76559910717,60cyclictest0-21swapper/300:30:153
76529910637,50cyclictest0-21swapper/022:45:400
7652991025,73cyclictest101ktimersoftd/021:55:410
765599994,65cyclictest0-21swapper/322:20:333
7655999813,60cyclictest7950irq/56-dwc_otg_23:50:233
765599972,72cyclictest7950irq/56-dwc_otg_21:25:293
765299965,85cyclictest19072-21sed23:45:400
765599952,74cyclictest20586-21latency21:50:293
765299956,16cyclictest14880-21grep23:40:360
765299942,72cyclictest7850irq/56-dwc_otg_23:55:310
7652999138,22cyclictest101ktimersoftd/023:05:240
7652999111,49cyclictest23075-21timerwakeupswit23:50:400
7652999011,40cyclictest28020-21sed00:35:370
7653998922,21cyclictest0-21swapper/122:20:311
765599884,76cyclictest1644-21ls22:45:383
765599883,13cyclictest28029-21sed00:35:373
7653998716,46cyclictest7750irq/56-dwc_otg00:35:371
765599853,75cyclictest14909-21grep23:40:373
221032850,14sleep00-21swapper/021:13:240
177012850,3sleep229-21rcuc/223:05:302
765599843,13cyclictest19090-21head23:45:403
765599832,63cyclictest7950irq/56-dwc_otg_23:05:263
765499838,36cyclictest29-21rcuc/222:45:412
7652998355,14cyclictest0-21swapper/000:00:260
765599814,49cyclictest0-21swapper/300:00:243
765599813,7cyclictest0-21swapper/322:05:213
765599813,7cyclictest0-21swapper/322:05:213
7653998114,46cyclictest0-21swapper/122:05:231
7653998114,46cyclictest0-21swapper/122:05:231
7652998143,13cyclictest2261750ssh00:30:210
7652998143,13cyclictest2261750ssh00:30:210
7652998140,14cyclictest0-21swapper/021:25:300
765299813,70cyclictest31517-21systemd-journal22:05:220
765299813,70cyclictest31517-21systemd-journal22:05:220
7652998055,11cyclictest101ktimersoftd/000:20:210
170562800,3sleep117052-21awk21:05:081
765399795,55cyclictest0-21swapper/121:25:281
7653997814,37cyclictest7750irq/56-dwc_otg21:55:201
7653997814,35cyclictest7750irq/56-dwc_otg23:40:391
7652997859,3cyclictest7950irq/56-dwc_otg_00:10:210
765299782,50cyclictest13-21rcuc/021:50:290
324182780,2sleep10-21swapper/100:02:221
765499754,41cyclictest0-21swapper/222:20:312
765299759,14cyclictest0-21swapper/020:55:190
7652997416,8cyclictest0-21swapper/019:45:180
765399734,36cyclictest0-21swapper/121:50:301
297682730,2sleep10-21swapper/120:10:221
7652997245,6cyclictest7950irq/56-dwc_otg_00:25:210
7652997245,6cyclictest7950irq/56-dwc_otg_00:25:210
765399719,26cyclictest7750irq/56-dwc_otg23:50:231
765399715,17cyclictest17452-21fschecks_time23:05:271
7653997125,21cyclictest18957-21sed23:45:381
7653997124,23cyclictest221ktimersoftd/122:45:381
7652997023,24cyclictest0-21swapper/020:30:200
765599697,7cyclictest7850irq/56-dwc_otg_19:10:213
765499698,39cyclictest14918-21grep23:40:372
7654996817,25cyclictest7950irq/56-dwc_otg_23:45:382
765399686,35cyclictest0-21swapper/100:30:171
765399686,35cyclictest0-21swapper/100:30:171
7653996820,17cyclictest0-21swapper/119:45:181
765599674,5cyclictest7750irq/56-dwc_otg21:30:343
765499679,43cyclictest28037-21grep00:35:372
765499673,34cyclictest0-21swapper/221:25:292
7654996710,29cyclictest0-21swapper/200:30:152
7654996710,29cyclictest0-21swapper/200:30:152
765399677,21cyclictest0-21swapper/122:50:211
7652996710,15cyclictest0-21swapper/020:50:200
7654996610,36cyclictest24861-21ntp_kernel_pll_21:55:322
765299661,29cyclictest0-21swapper/019:20:190
765399652,10cyclictest0-21swapper/120:20:211
7652996545,4cyclictest7850irq/56-dwc_otg_21:15:200
7652996542,4cyclictest0-21swapper/020:05:220
69392650,1sleep00-21swapper/020:35:280
765299647,15cyclictest0-21swapper/019:15:200
7652996444,2cyclictest0-21swapper/021:45:220
60532640,2sleep10-21swapper/122:11:551
765499633,43cyclictest0-21swapper/223:55:332
7653996311,29cyclictest7950irq/56-dwc_otg_23:55:321
7652996328,15cyclictest0-21swapper/019:40:200
7652996328,15cyclictest0-21swapper/019:40:200
104422630,2sleep20-21swapper/200:15:272
765599629,4cyclictest0-21swapper/323:02:453
7655996215,32cyclictest29542-21cat20:10:093
7652996233,6cyclictest7850irq/56-dwc_otg_00:15:210
765599602,5cyclictest24939-21diskstats22:35:243
765399605,32cyclictest0-21swapper/120:45:201
7652996038,6cyclictest7950irq/56-dwc_otg_21:30:200
765599596,8cyclictest7950irq/56-dwc_otg_21:16:383
765599595,4cyclictest31550-21ssh21:25:083
765599592,30cyclictest0-21swapper/323:20:193
765599592,30cyclictest0-21swapper/323:20:193
765299596,15cyclictest0-21swapper/020:25:140
765299592,35cyclictest0-21swapper/019:35:230
7652995919,20cyclictest0-21swapper/021:20:190
7655995811,4cyclictest0-21swapper/323:30:583
7655995811,4cyclictest0-21swapper/323:30:583
765499583,14cyclictest30400-21diskstats00:00:262
765399585,27cyclictest0-21swapper/100:10:191
765299582,20cyclictest0-21swapper/019:30:200
765299581,34cyclictest26925-21grep20:00:360
765599578,38cyclictest7950irq/56-dwc_otg_20:10:143
765599575,5cyclictest7832-21apt22:15:073
7654995712,28cyclictest7950irq/56-dwc_otg_21:50:282
7653995713,22cyclictest0-21swapper/119:20:191
765299577,25cyclictest0-21swapper/020:10:190
7652995714,13cyclictest0-21swapper/020:40:200
765299571,30cyclictest0-21swapper/021:40:190
765599565,8cyclictest0-21swapper/322:32:293
765599563,5cyclictest0-21swapper/300:05:263
765599562,4cyclictest60-21kswapd000:15:213
765599561,6cyclictest8155-21/usr/sbin/munin20:40:303
7655995613,39cyclictest1627-21ssh23:25:253
765499569,16cyclictest7950irq/56-dwc_otg_00:10:192
7652995630,4cyclictest22385-21grep23:10:360
765299562,31cyclictest13341-21munin-run23:40:070
765599557,4cyclictest7950irq/56-dwc_otg_21:05:283
765599551,5cyclictest18850-21diskmemload21:40:243
765499553,28cyclictest0-21swapper/219:55:212
765399554,11cyclictest0-21swapper/120:50:201
765399552,10cyclictest0-21swapper/122:00:211
7652995531,5cyclictest7850irq/56-dwc_otg_22:15:270
7652995525,16cyclictest7850irq/56-dwc_otg_22:10:270
765599546,3cyclictest0-21swapper/323:10:593
765599542,8cyclictest7950irq/56-dwc_otg_21:39:453
7655995416,35cyclictest20374-21latency_hist22:30:093
7654995413,13cyclictest7750irq/56-dwc_otg22:05:222
7654995413,13cyclictest7750irq/56-dwc_otg22:05:222
7652995422,5cyclictest7850irq/56-dwc_otg_23:25:080
7652995422,5cyclictest7850irq/56-dwc_otg_23:25:080
7652995417,30cyclictest25123-21grep19:55:360
765299541,28cyclictest16801-21fschecks_time22:25:270
7652995410,25cyclictest25479-21kworker/u8:119:55:070
765599538,4cyclictest7850irq/56-dwc_otg_21:47:513
765599534,7cyclictest7950irq/56-dwc_otg_00:12:123
765599531,4cyclictest15953-21ssh00:21:193
765299531,8cyclictest0-21swapper/000:05:210
765599528,4cyclictest22322-21seq21:13:483
7655995214,35cyclictest29747-21sh22:01:003
765599521,3cyclictest7950irq/56-dwc_otg_20:35:213
7655995210,6cyclictest16949-21fschecks_count19:35:233
7652995226,13cyclictest7950irq/56-dwc_otg_23:35:080
7652995226,13cyclictest7950irq/56-dwc_otg_23:35:080
7652995223,13cyclictest7850irq/56-dwc_otg_22:00:260
7652995214,12cyclictest7850irq/56-dwc_otg_23:15:250
765599515,5cyclictest7950irq/56-dwc_otg_19:40:243
765599515,5cyclictest7950irq/56-dwc_otg_19:40:243
765599512,7cyclictest4577-21wget20:30:223
765599511,5cyclictest6415-21ssh22:51:203
765599511,4cyclictest8520-21grep22:15:253
765599511,4cyclictest21098-21awk19:45:293
765599511,10cyclictest0-21swapper/300:26:253
765599511,10cyclictest0-21swapper/300:26:253
765299511,27cyclictest1191-21snmpd20:15:280
765599502,8cyclictest13411-21tune2fs19:25:263
765599501,8cyclictest10078-21apt-get20:45:213
7655995010,36cyclictest0-21swapper/320:00:373
765399504,9cyclictest0-21swapper/100:15:231
765299502,29cyclictest0-21swapper/022:55:330
765299502,29cyclictest0-21swapper/022:55:330
765299502,26cyclictest0-21swapper/022:40:280
765299501,28cyclictest0-21swapper/020:20:240
765299501,25cyclictest25201-21ssh22:35:270
765599493,3cyclictest0-21swapper/323:15:553
765599492,11cyclictest0-21swapper/322:56:023
765599492,11cyclictest0-21swapper/322:56:023
765599491,3cyclictest0-21swapper/323:36:333
765599491,3cyclictest0-21swapper/322:40:203
765499494,28cyclictest0-21swapper/220:50:202
765399498,21cyclictest0-21swapper/119:40:181
765399498,21cyclictest0-21swapper/119:40:181
7652994930,5cyclictest17399-21aten_rbpower_vo21:05:230
765299492,41cyclictest2769-21kworker/0:023:28:240
765299491,28cyclictest13821-21ps23:00:330
765299491,27cyclictest0-21swapper/022:30:270
765299488,11cyclictest0-21swapper/020:45:200
765299485,20cyclictest11536-21ssh21:40:090
58332483,34sleep00-21swapper/019:05:190
58332483,34sleep00-21swapper/019:05:190
765599474,3cyclictest7950irq/56-dwc_otg_21:00:203
765599472,9cyclictest24328-21tune2fs19:55:253
765599472,9cyclictest0-21swapper/320:29:263
765599471,6cyclictest7850irq/56-dwc_otg_19:54:043
765599467,24cyclictest0-21swapper/320:50:213
765599466,4cyclictest7950irq/56-dwc_otg_20:23:563
765599461,3cyclictest7950irq/56-dwc_otg_20:55:333
765499463,28cyclictest0-21swapper/220:55:192
765499462,26cyclictest0-21swapper/220:30:202
765499462,12cyclictest7950irq/56-dwc_otg_22:25:202
765399462,31cyclictest0-21swapper/121:20:191
765599457,23cyclictest0-21swapper/319:20:203
765599451,4cyclictest10910-21chrt19:18:233
765499453,3cyclictest0-21swapper/221:10:202
7654994527,10cyclictest7950irq/56-dwc_otg_21:17:542
7652994525,12cyclictest0-21swapper/022:50:320
765599448,3cyclictest0-21swapper/319:30:353
765499446,10cyclictest0-21swapper/221:30:202
765499441,4cyclictest7750irq/56-dwc_otg22:15:202
765399447,24cyclictest0-21swapper/121:05:221
765399447,23cyclictest0-21swapper/119:35:191
765399444,12cyclictest0-21swapper/120:55:191
7653994424,5cyclictest23-21ksoftirqd/100:20:301
765399433,23cyclictest0-21swapper/120:35:191
7652994311,21cyclictest0-21swapper/021:00:150
765499425,23cyclictest0-21swapper/219:25:222
765399426,26cyclictest7750irq/56-dwc_otg23:20:211
765399426,26cyclictest7750irq/56-dwc_otg23:20:211
765299423,20cyclictest0-21swapper/019:30:080
7652994213,21cyclictest0-21swapper/019:13:520
765499412,14cyclictest0-21swapper/200:05:212
765399412,34cyclictest7950irq/56-dwc_otg_00:05:211
765499404,15cyclictest0-21swapper/219:20:192
765399408,7cyclictest0-21swapper/120:30:201
765399403,7cyclictest7750irq/56-dwc_otg00:25:211
765399403,7cyclictest7750irq/56-dwc_otg00:25:211
102792400,2sleep10-21swapper/121:38:051
765499395,8cyclictest0-21swapper/219:40:192
765499395,8cyclictest0-21swapper/219:40:192
765399395,22cyclictest7750irq/56-dwc_otg19:15:231
7653993912,15cyclictest0-21swapper/120:40:201
273182391,4sleep227330-21ssh22:38:062
765599387,3cyclictest0-21swapper/320:15:333
765499382,17cyclictest7850irq/56-dwc_otg_20:40:292
765399381,25cyclictest15533-21latency_hist21:45:081
765499377,24cyclictest0-21swapper/221:05:222
765499371,6cyclictest0-21swapper/200:20:202
765499371,23cyclictest0-21swapper/219:45:182
765399371,13cyclictest31688-21fschecks_count20:15:241
7653993711,17cyclictest7950irq/56-dwc_otg_21:10:201
765499368,13cyclictest7950irq/56-dwc_otg_20:10:242
765499366,4cyclictest7750irq/56-dwc_otg23:00:372
765399364,5cyclictest7950irq/56-dwc_otg_22:35:251
7653993618,5cyclictest23-21ksoftirqd/121:30:341
765399361,6cyclictest1604050rm23:03:501
765499357,25cyclictest0-21swapper/219:35:192
765499351,20cyclictest31588-21ls21:25:082
765399352,23cyclictest7750irq/56-dwc_otg19:25:261
765399351,23cyclictest30300-21ssh22:40:581
765499346,9cyclictest0-21swapper/200:25:212
765499346,9cyclictest0-21swapper/200:25:212
765499345,14cyclictest0-21swapper/220:45:202
765499343,7cyclictest0-21swapper/220:20:362
765499343,22cyclictest7950irq/56-dwc_otg_23:10:332
7654993414,11cyclictest29596-21ssh22:00:432
765499341,24cyclictest5064-21uniq22:50:262
765399346,21cyclictest7850irq/56-dwc_otg_23:35:251
7653993415,10cyclictest1417-21/usr/sbin/munin23:25:221
765499335,11cyclictest0-21swapper/220:05:222
7654993315,11cyclictest1191-21snmpd23:21:072
7654993315,11cyclictest1191-21snmpd23:21:072
765399337,10cyclictest5693-21ssh23:30:251
765399337,10cyclictest5693-21ssh23:30:251
765399331,6cyclictest26439-21cat23:15:371
765399331,24cyclictest11985-21latency_hist22:20:091
7653993310,8cyclictest0-21swapper/119:55:211
765499329,6cyclictest7850irq/56-dwc_otg_22:55:252
765499329,6cyclictest7850irq/56-dwc_otg_22:55:252
765499327,15cyclictest0-21swapper/221:00:212
7654993211,4cyclictest22916-21sh22:32:322
7654993211,14cyclictest18850-21diskmemload22:41:142
765399325,4cyclictest7750irq/56-dwc_otg20:10:091
7653993210,6cyclictest16726-21fschecks_count22:25:261
210302320,2sleep121028-21ssh22:30:271
765499317,13cyclictest0-21swapper/221:41:312
765499312,11cyclictest0-21swapper/223:15:292
765499311,6cyclictest7856-21df_inode21:35:252
765499311,5cyclictest1471-21ssh23:25:222
7654993115,9cyclictest18834-21ssh21:48:382
765499311,25cyclictest7277-21ls20:35:342
7654993112,5cyclictest10225-21missed_timers23:35:322
765499311,22cyclictest8790-21ssh23:34:242
765499311,22cyclictest8790-21ssh23:34:242
765399315,4cyclictest7850irq/56-dwc_otg_21:45:201
765399314,5cyclictest7750irq/56-dwc_otg20:05:081
765399312,3cyclictest7750irq/56-dwc_otg23:10:201
7653993118,4cyclictest15169-21/usr/sbin/munin19:30:241
765499306,5cyclictest7750irq/56-dwc_otg19:30:242
765499305,4cyclictest7750irq/56-dwc_otg20:30:092
765399308,6cyclictest0-21swapper/119:10:221
765399308,4cyclictest7950irq/56-dwc_otg_22:55:291
765399308,4cyclictest7950irq/56-dwc_otg_22:55:291
765399303,3cyclictest0-21swapper/121:15:341
765399302,19cyclictest0-21swapper/120:26:541
7653993010,13cyclictest22618-21/usr/sbin/munin19:50:261
765499299,10cyclictest7950irq/56-dwc_otg_19:10:302
765499298,6cyclictest584-21modprobe20:20:082
765499292,8cyclictest0-21swapper/220:04:502
66002295,16sleep36675-21/usr/sbin/munin19:05:343
66002295,16sleep36675-21/usr/sbin/munin19:05:343
765499282,19cyclictest0-21swapper/219:50:232
765499271,4cyclictest7850irq/56-dwc_otg_19:15:212
71492273,15sleep20-21swapper/219:07:072
71492273,15sleep20-21swapper/219:07:072
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional