You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-07-09 - 00:24

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack7slot3s.osadl.org (updated Wed Jul 08, 2026 12:43:38)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
2071625470,4sleep30-21swapper/307:05:413
2167599917,8cyclictest7950irq/56-dwc_otg_07:10:170
2167599917,8cyclictest7950irq/56-dwc_otg_07:10:170
21675998630,38cyclictest7850irq/56-dwc_otg10:30:290
21675998630,38cyclictest7850irq/56-dwc_otg10:30:290
204242840,6sleep12167899cyclictest09:34:161
2167599831,15cyclictest17904-21/usr/sbin/munin10:50:300
21675998223,44cyclictest0-21swapper/007:25:290
21675998130,6cyclictest0-21swapper/011:55:260
2167599809,20cyclictest0-21swapper/011:00:390
21675998020,12cyclictest0-21swapper/007:45:380
21675998014,11cyclictest0-21swapper/011:21:180
21675997925,5cyclictest7950irq/56-dwc_otg_09:30:140
21675997834,32cyclictest0-21swapper/011:15:460
2167599782,71cyclictest17609-21cron10:50:150
21675997815,54cyclictest0-21swapper/011:09:520
121012780,2sleep00-21swapper/012:03:040
21675997724,6cyclictest7850irq/56-dwc_otg09:08:510
21675997619,10cyclictest30201-21grep07:30:440
311562750,5sleep32168099cyclictest10:25:393
311562750,5sleep32168099cyclictest10:25:393
315882740,3sleep123-21ksoftirqd/111:06:511
246932740,2sleep22167999cyclictest12:18:202
246932740,2sleep22167999cyclictest12:18:202
21675997415,50cyclictest0-21swapper/010:03:110
21675997415,50cyclictest0-21swapper/010:03:110
307492730,6sleep12167899cyclictest10:25:331
307492730,6sleep12167899cyclictest10:25:331
294092730,3sleep10-21swapper/109:45:151
21675997223,3cyclictest0-21swapper/009:35:380
21675997223,3cyclictest0-21swapper/009:35:380
21675997213,10cyclictest26004-21/usr/sbin/munin07:20:370
21675997121,5cyclictest7552-21ssh10:35:590
21675997017,7cyclictest32332-21ssh12:26:580
21675997017,6cyclictest0-21swapper/009:11:310
21675997017,12cyclictest0-21swapper/009:00:470
21675997016,4cyclictest27492-21/usr/sbin/munin08:55:260
21675997016,16cyclictest12932-21/usr/sbin/munin08:15:340
21675997014,10cyclictest0-21swapper/010:41:590
21675997011,11cyclictest0-21swapper/011:29:170
21675997011,11cyclictest0-21swapper/011:29:170
21675996923,6cyclictest7950irq/56-dwc_otg_10:05:390
2167599692,10cyclictest25087-21sh07:20:140
21675996914,14cyclictest0-21swapper/010:55:580
2167599682,20cyclictest0-21swapper/009:15:270
21675996819,12cyclictest10054-21grep09:20:430
21675996814,11cyclictest0-21swapper/011:34:320
2167599672,25cyclictest0-21swapper/011:50:100
21675996716,5cyclictest7950irq/56-dwc_otg_10:22:140
21675996713,10cyclictest3483-21chrt11:12:380
21675996713,10cyclictest3483-21chrt11:12:380
21675996622,6cyclictest9650irq/80-mmc008:25:140
21675996621,3cyclictest0-21swapper/012:24:380
2167599661,21cyclictest0-21swapper/012:16:420
2167599661,21cyclictest0-21swapper/012:16:420
2167599661,18cyclictest0-21swapper/009:54:390
2167599661,12cyclictest0-21swapper/010:15:310
74182650,2sleep20-21swapper/208:00:152
2168099656,21cyclictest8050irq/56-dwc_otg_07:55:293
2167599653,12cyclictest0-21swapper/010:28:040
2167599653,12cyclictest0-21swapper/010:28:040
21675996516,9cyclictest0-21swapper/010:11:100
21675996419,5cyclictest7850irq/56-dwc_otg11:50:310
21675996413,11cyclictest0-21swapper/012:05:370
2167599641,22cyclictest29360-21latency_hist11:45:150
2167599641,17cyclictest0-21swapper/009:43:390
14762640,3sleep31469-21aten_rbpower_vo09:50:283
2167599632,8cyclictest0-21swapper/009:33:130
21675996317,3cyclictest0-21swapper/009:45:360
21675996316,11cyclictest0-21swapper/008:39:270
21675996315,9cyclictest0-21swapper/009:57:240
21675996311,12cyclictest0-21swapper/012:37:440
21675996311,12cyclictest0-21swapper/012:37:440
178042630,1sleep30-21swapper/310:10:173
21675996017,5cyclictest727-21runrttasks12:30:370
21675996016,10cyclictest0-21swapper/008:10:190
21675996016,10cyclictest0-21swapper/008:10:190
250132590,5sleep12167899cyclictest09:40:031
250132590,5sleep12167899cyclictest09:40:031
21680995914,25cyclictest7850irq/56-dwc_otg07:10:173
21680995914,25cyclictest7850irq/56-dwc_otg07:10:173
2167599591,24cyclictest0-21swapper/007:43:500
21675995828,11cyclictest22231-21cut08:40:310
21675995828,11cyclictest22231-21cut08:40:310
2167599582,27cyclictest0-21swapper/012:10:310
21678995731,5cyclictest580850wget07:55:301
2167599572,43cyclictest0-21swapper/011:35:230
21675995717,4cyclictest0-21swapper/008:26:110
21675995714,17cyclictest0-21swapper/007:57:070
2168099558,29cyclictest0-21swapper/311:25:283
2168099558,29cyclictest0-21swapper/311:25:283
2167599551,32cyclictest5014-21sed07:50:440
12512550,5sleep22167999cyclictest07:40:422
2168099543,35cyclictest8050irq/56-dwc_otg_11:04:153
295592530,1sleep30-21swapper/309:45:173
2168099538,28cyclictest0-21swapper/307:25:293
21679995320,9cyclictest7850irq/56-dwc_otg09:30:272
2134525324,23sleep00-21swapper/007:09:270
128402530,2sleep30-21swapper/309:25:163
2168099529,27cyclictest0-21swapper/307:30:213
2168099528,31cyclictest18030-21taskset08:29:053
21680995226,12cyclictest8050irq/56-dwc_otg_07:20:403
21675995130,11cyclictest7850irq/56-dwc_otg08:05:330
2168099508,26cyclictest0-21swapper/309:05:283
21680995021,15cyclictest7950irq/56-dwc_otg_11:20:523
21675995031,5cyclictest7850irq/56-dwc_otg08:30:260
2168099498,28cyclictest0-21swapper/311:15:283
2168099491,31cyclictest8050irq/56-dwc_otg_07:20:143
21680994912,13cyclictest13777-21ssh10:05:273
2168099491,12cyclictest0-21swapper/311:05:263
2168099489,14cyclictest2115-21ssh10:30:223
2168099489,14cyclictest2115-21ssh10:30:223
2167999487,23cyclictest23863-1kworker/2:2H07:25:222
2167899488,27cyclictest0-21swapper/110:30:211
2167899488,27cyclictest0-21swapper/110:30:211
2167599483,38cyclictest0-21swapper/008:50:260
13542480,5sleep31355-21unixbench-2d07:40:433
21680994716,17cyclictest8050irq/56-dwc_otg_12:00:353
2167899479,7cyclictest28783-21cron07:30:141
21675994716,12cyclictest0-21swapper/007:35:290
2168099467,24cyclictest0-21swapper/308:55:203
21680994611,16cyclictest28286-21ssh10:22:053
21678994620,8cyclictest0-21swapper/109:50:361
21680994518,8cyclictest8050irq/56-dwc_otg_07:38:323
21680994514,14cyclictest381ktimersoftd/309:35:313
21680994514,14cyclictest381ktimersoftd/309:35:313
2167899457,25cyclictest0-21swapper/110:00:281
2167899457,25cyclictest0-21swapper/110:00:281
2168099448,13cyclictest8563-21ssh12:37:373
2168099448,13cyclictest8563-21ssh12:37:373
2168099447,25cyclictest0-21swapper/311:55:283
2168099447,21cyclictest0-21swapper/310:35:263
2168099444,24cyclictest7850irq/56-dwc_otg09:57:393
21680994421,9cyclictest25596-21apt-get08:50:263
21680994418,15cyclictest8050irq/56-dwc_otg_12:20:343
21680994415,13cyclictest12946-21apt-get08:15:273
21680994411,12cyclictest9080-21cron08:05:143
21679994419,14cyclictest1236-21aten_rbpower_cu11:10:282
21679994419,14cyclictest1236-21aten_rbpower_cu11:10:282
2167899443,21cyclictest0-21swapper/107:10:171
2167899443,21cyclictest0-21swapper/107:10:171
21678994422,5cyclictest18302-21unixbench_multi11:30:421
21675994417,14cyclictest23834-21grep08:45:280
2168099439,28cyclictest0-21swapper/307:45:293
2168099439,12cyclictest8050irq/56-dwc_otg_10:50:333
2168099435,28cyclictest21893-21ssh10:55:293
2168099433,10cyclictest1394350ssh12:05:323
21680994325,4cyclictest7850irq/56-dwc_otg10:19:223
21680994314,14cyclictest8050irq/56-dwc_otg_09:33:103
21680994312,19cyclictest17511-21ssh10:50:053
2167999436,6cyclictest10358-21cut10:40:322
2167999433,24cyclictest8050irq/56-dwc_otg_11:05:312
2167999433,21cyclictest0-21swapper/207:10:172
2167999433,21cyclictest0-21swapper/207:10:172
2167899438,17cyclictest0-21swapper/108:40:251
2167899438,17cyclictest0-21swapper/108:40:251
2167599432,21cyclictest0-21swapper/008:04:280
2168099429,22cyclictest2200-21ssh09:11:193
2168099428,13cyclictest29298-21/usr/sbin/munin09:00:423
2168099425,23cyclictest4675-21ssh09:15:303
2168099422,23cyclictest8050irq/56-dwc_otg_12:28:413
2167999427,22cyclictest0-21swapper/210:30:212
2167999427,22cyclictest0-21swapper/210:30:212
2167999424,27cyclictest0-21swapper/210:57:472
110292420,3sleep20-21swapper/211:21:592
2168099416,5cyclictest0-21swapper/307:50:263
2168099416,24cyclictest8050irq/56-dwc_otg_12:13:413
2168099416,15cyclictest3421-21ssh11:12:313
2168099416,15cyclictest3421-21ssh11:12:313
21680994123,8cyclictest8050irq/56-dwc_otg_11:37:033
21680994116,11cyclictest8050irq/56-dwc_otg_11:31:513
2167999413,7cyclictest8050irq/56-dwc_otg_08:40:252
2167999413,7cyclictest8050irq/56-dwc_otg_08:40:252
2167899416,18cyclictest8050irq/56-dwc_otg_11:20:291
2167899411,8cyclictest5832-21fschecks_time09:55:321
133952410,2sleep30-21swapper/310:44:443
2167899403,6cyclictest781-21df09:10:271
2167899401,6cyclictest878-21munin-run11:50:141
2167899401,6cyclictest8050irq/56-dwc_otg_10:40:441
2167899401,28cyclictest0-21swapper/110:51:501
122952400,1sleep20-21swapper/209:24:422
21680993918,4cyclictest8050irq/56-dwc_otg_10:02:453
21680993918,4cyclictest8050irq/56-dwc_otg_10:02:453
21680993913,14cyclictest8050irq/56-dwc_otg_08:40:363
21680993913,14cyclictest8050irq/56-dwc_otg_08:40:363
21680993910,12cyclictest14018-21ssh09:25:423
2167999398,19cyclictest0-21swapper/210:52:582
2167999391,23cyclictest25284-21ls09:40:152
2167999391,23cyclictest25284-21ls09:40:152
2167899397,6cyclictest6029-21ssh10:35:181
21678993916,7cyclictest23-21ksoftirqd/110:05:261
21678993915,10cyclictest8050irq/56-dwc_otg_09:45:251
2168099389,17cyclictest23523-21ssh12:16:133
2168099389,17cyclictest23523-21ssh12:16:133
2168099387,20cyclictest749-21ssh11:50:033
2168099384,19cyclictest29110-21ssh11:45:103
2168099383,9cyclictest8050irq/56-dwc_otg_08:10:363
2168099383,9cyclictest8050irq/56-dwc_otg_08:10:363
2168099383,14cyclictest26860-21grep09:40:583
2167999382,10cyclictest0-21swapper/207:18:572
21679993816,6cyclictest16836-21idleruntime-cro09:30:142
21679993816,5cyclictest14598-21dhclient-script10:05:392
2167899382,4cyclictest8050irq/56-dwc_otg_08:20:151
2167899382,4cyclictest0-21swapper/110:47:461
2167899381,7cyclictest2449-21tail11:10:441
2167899381,7cyclictest2449-21tail11:10:441
21678993817,6cyclictest29400-21idleruntime-cro11:05:151
2167899381,6cyclictest0-21swapper/107:15:391
21678993814,6cyclictest0-21swapper/110:10:261
2167899381,23cyclictest25594-21ls11:40:301
2168099379,11cyclictest3578-21ssh11:52:383
21680993714,6cyclictest381ktimersoftd/312:32:343
2167999378,14cyclictest8050irq/56-dwc_otg_10:35:302
2167999374,23cyclictest0-21swapper/211:18:152
2167899376,15cyclictest7950irq/56-dwc_otg_11:55:291
2167899373,6cyclictest7850irq/56-dwc_otg11:25:411
2167899373,6cyclictest7850irq/56-dwc_otg11:25:411
2167899372,6cyclictest0-21swapper/111:19:471
21678993722,7cyclictest7950irq/56-dwc_otg_10:55:271
21678993711,9cyclictest0-21swapper/108:50:371
21678993711,15cyclictest30472-21wget12:25:281
199152377,17sleep20-21swapper/207:05:292
42322360,7sleep22167999cyclictest07:50:322
21680993618,6cyclictest381ktimersoftd/308:20:433
2167999367,15cyclictest7950irq/56-dwc_otg_10:49:102
2167999365,4cyclictest7950irq/56-dwc_otg_09:10:392
2167999362,5cyclictest0-21swapper/212:20:482
21679993610,5cyclictest0-21swapper/212:25:322
2167899369,8cyclictest0-21swapper/111:38:541
21678993622,10cyclictest16554-21/usr/sbin/munin08:25:331
2167899361,5cyclictest13043-21ssh09:25:261
2168099351,22cyclictest0-21swapper/308:45:283
2167999357,13cyclictest7950irq/56-dwc_otg_12:00:432
2167999354,4cyclictest8050irq/56-dwc_otg_10:20:402
2167999353,9cyclictest0-21swapper/210:10:262
2167899359,18cyclictest6641-1kworker/u9:109:18:091
2167899357,11cyclictest8050irq/56-dwc_otg_12:22:321
2167899355,15cyclictest8050irq/56-dwc_otg_09:05:411
2167899353,6cyclictest8050irq/56-dwc_otg_07:31:201
2167899352,5cyclictest9576-21ntp_states09:20:381
2167899352,5cyclictest7950irq/56-dwc_otg_08:20:591
2167899352,11cyclictest0-21swapper/108:31:491
129422350,6sleep22167999cyclictest08:15:252
2168099341,3cyclictest8050irq/56-dwc_otg_08:30:233
2168099341,13cyclictest11081-21wc08:10:163
2167999343,6cyclictest31-21ksoftirqd/211:00:392
21679993416,5cyclictest8050irq/56-dwc_otg_09:44:382
2167999341,4cyclictest7850irq/56-dwc_otg07:20:412
2167999341,14cyclictest8050irq/56-dwc_otg_07:45:332
2167899345,4cyclictest7850irq/56-dwc_otg12:10:261
2167899342,4cyclictest0-21swapper/109:00:291
2167899342,4cyclictest0-21swapper/108:14:061
2167899342,4cyclictest0-21swapper/108:14:061
2167899342,19cyclictest759-21sshd07:22:251
21678993416,4cyclictest2226-21aten_rbpower_vo07:45:301
2167899341,4cyclictest7950irq/56-dwc_otg_07:50:381
21678993411,4cyclictest0-21swapper/112:00:291
21678993411,14cyclictest0-21swapper/112:05:341
80442330,8sleep231-21ksoftirqd/209:19:312
2167999339,10cyclictest8050irq/56-dwc_otg_11:39:222
2167999336,16cyclictest0-21swapper/209:50:272
2167999335,6cyclictest8050irq/56-dwc_otg_07:35:322
2167999332,5cyclictest25611-21df_inode11:40:312
2167999331,5cyclictest8050irq/56-dwc_otg_11:30:302
2167999331,4cyclictest8050irq/56-dwc_otg_11:59:302
2167899338,9cyclictest8050irq/56-dwc_otg_07:40:351
2167899335,4cyclictest7950irq/56-dwc_otg_11:55:071
2167899333,4cyclictest7850irq/56-dwc_otg12:34:451
2167899331,6cyclictest24258-21irqstats08:45:341
2167899331,18cyclictest12969-1kworker/1:0H07:40:151
2167999326,4cyclictest7850irq/56-dwc_otg12:05:352
2167999325,4cyclictest8050irq/56-dwc_otg_11:45:402
2167999325,3cyclictest0-21swapper/208:25:342
2167999325,10cyclictest8050irq/56-dwc_otg_08:50:432
2167999324,12cyclictest8050irq/56-dwc_otg_09:05:422
2167999323,5cyclictest8050irq/56-dwc_otg_11:25:282
2167999323,5cyclictest8050irq/56-dwc_otg_11:25:282
2167999322,19cyclictest0-21swapper/210:15:402
2167999321,4cyclictest8050irq/56-dwc_otg_08:55:332
2167999321,14cyclictest8050irq/56-dwc_otg_12:15:152
2167899321,6cyclictest0-21swapper/110:21:491
2167899321,5cyclictest27536-21wget08:55:291
2167899321,4cyclictest0-21swapper/110:15:151
2167999319,12cyclictest8050irq/56-dwc_otg_09:00:392
2167999318,13cyclictest0-21swapper/211:53:282
2167999317,8cyclictest0-21swapper/210:00:262
2167999317,8cyclictest0-21swapper/210:00:262
2167999317,15cyclictest0-21swapper/210:27:562
2167999317,15cyclictest0-21swapper/210:27:562
2167999315,11cyclictest8050irq/56-dwc_otg_08:00:402
2167999313,11cyclictest8050irq/56-dwc_otg_09:57:492
2167999312,4cyclictest0-21swapper/208:30:292
2167999312,20cyclictest0-21swapper/208:20:252
2167899318,13cyclictest0-21swapper/112:15:391
2167899318,13cyclictest0-21swapper/112:15:391
2167899315,5cyclictest7850irq/56-dwc_otg12:35:391
2167899315,5cyclictest7850irq/56-dwc_otg12:35:391
21678993122,7cyclictest10143-21/usr/sbin/munin08:05:391
2168099309,5cyclictest21482-21runrttasks08:37:003
2167999308,12cyclictest0-21swapper/212:31:242
2167999302,3cyclictest7950irq/56-dwc_otg_08:05:312
21679993023,5cyclictest12232-21grep08:10:432
21679993023,5cyclictest12232-21grep08:10:432
2167999302,18cyclictest0-21swapper/209:45:242
2167999301,7cyclictest6965-21ntp_states12:35:362
2167999301,7cyclictest6965-21ntp_states12:35:362
2167899305,10cyclictest8050irq/56-dwc_otg_08:00:411
2167999294,4cyclictest7950irq/56-dwc_otg_08:35:352
2167999292,5cyclictest8050irq/56-dwc_otg_08:49:572
2167999291,5cyclictest28798-21apt-get07:30:212
204322293,14sleep10-21swapper/107:05:361
2167899281,3cyclictest8050irq/56-dwc_otg_08:35:351
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional