You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-01-12 - 06:33

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack7slot3s.osadl.org (updated Mon Jan 12, 2026 00:43:35)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1320125540,5sleep20-21swapper/219:05:342
1320125540,5sleep20-21swapper/219:05:342
147609910338,50cyclictest0-21swapper/019:30:300
1476099833,38cyclictest0-21swapper/020:20:270
1476099817,62cyclictest0-21swapper/022:00:470
14760998122,14cyclictest0-21swapper/019:35:310
1476099796,40cyclictest0-21swapper/023:20:280
1476099791,43cyclictest0-21swapper/023:45:290
1476099791,38cyclictest0-21swapper/021:30:280
14760997711,47cyclictest17925-21grep20:45:440
1476099761,50cyclictest0-21swapper/022:25:290
245142750,2sleep10-21swapper/121:05:351
1476099757,49cyclictest0-21swapper/021:25:360
1476099757,39cyclictest0-21swapper/021:40:300
14760997517,32cyclictest0-21swapper/019:50:280
1476099751,37cyclictest0-21swapper/023:50:280
14760997511,40cyclictest29411-21idleruntime-cro21:20:170
14760997313,39cyclictest31852-21proc_pri19:55:410
14760997313,39cyclictest31852-21proc_pri19:55:410
1476099727,49cyclictest9865-21latency_hist21:55:180
1476099721,31cyclictest0-21swapper/020:40:300
1476099691,43cyclictest0-21swapper/000:30:300
1476099686,36cyclictest15755-21aten_rbpower_po23:40:310
14760996813,31cyclictest31345-21unixbench_multi00:20:450
134842680,3sleep013485-21fschecks_count20:35:350
14760996628,22cyclictest0-21swapper/019:40:260
1476099659,40cyclictest0-21swapper/020:32:310
14760996412,38cyclictest10906-21/usr/sbin/munin21:55:430
1476099638,51cyclictest27680-21dpkg21:15:180
1476099638,39cyclictest0-21swapper/021:01:450
1476099638,37cyclictest7159-21taskset20:16:440
1476099638,33cyclictest0-21swapper/020:11:310
1476099636,48cyclictest0-21swapper/020:59:200
14760996326,7cyclictest0-21swapper/022:35:310
14760996326,7cyclictest0-21swapper/022:35:310
1476099631,35cyclictest14901-21aten_rbpower_vo19:10:310
136392634,48sleep013649-21open_files19:05:410
136392634,48sleep013649-21open_files19:05:410
1476299629,9cyclictest16818-21grep23:40:462
1476299621,13cyclictest21509-21ps22:25:432
1476099616,39cyclictest0-21swapper/021:36:280
14760996112,11cyclictest24710-21latency_hist00:05:180
14760996112,11cyclictest24710-21latency_hist00:05:180
1476299601,17cyclictest9880-21/usr/sbin/munin21:55:322
1476099608,35cyclictest0-21swapper/021:10:170
1476099601,38cyclictest4830-21cut23:10:320
1476099601,25cyclictest0-21swapper/023:35:300
1476299591,13cyclictest30044-21fschecks_count22:50:342
1476099599,38cyclictest0-21swapper/000:29:580
1476299581,23cyclictest0-21swapper/219:26:242
1476099589,33cyclictest25902-21unixbench_multi00:05:450
1476099587,41cyclictest3712-21chrt20:08:510
1476099585,41cyclictest0-21swapper/023:29:210
1476099585,40cyclictest13582-21runrttasks23:35:000
1476099585,38cyclictest27763-21fschecks_time19:45:330
1476099583,41cyclictest0-21swapper/020:01:170
14760995822,21cyclictest0-21swapper/021:45:290
14760995822,21cyclictest0-21swapper/021:45:290
14760995813,24cyclictest27701-21taskset22:44:480
1476099577,32cyclictest4357-21idleruntime-cro23:10:170
1476099574,44cyclictest0-21swapper/023:15:290
1476099574,44cyclictest0-21swapper/023:15:290
1476099573,40cyclictest1125-21runrttasks22:22:420
1476099573,38cyclictest0-21swapper/022:20:000
14760995718,21cyclictest19883-21sshd20:51:020
14760995716,29cyclictest10302-21ntp_kernel_pll_20:25:410
14760995716,29cyclictest10302-21ntp_kernel_pll_20:25:410
1476099571,30cyclictest15638-21fschecks_time22:10:340
1476099571,11cyclictest7750irq/56-dwc_otg00:35:370
1476099551,30cyclictest28196-21idleruntime-cro00:15:170
14760995419,32cyclictest30617-21/usr/sbin/munin22:50:420
1476099541,31cyclictest0-21swapper/022:30:310
1476299535,12cyclictest25387-21wc00:05:382
1476099537,35cyclictest0-21swapper/019:26:470
1476099536,44cyclictest0-21swapper/019:15:400
1476099536,11cyclictest2473-21chrt23:04:330
1476099535,36cyclictest19678-21runrttasks19:21:310
1476099533,39cyclictest0-21swapper/021:20:410
1476099523,46cyclictest0-21swapper/022:55:400
1476099516,4cyclictest0-21swapper/022:50:170
1476099510,39cyclictest0-21swapper/000:15:470
1476099496,23cyclictest13646-21cpu22:05:310
14760994718,15cyclictest0-21swapper/023:55:280
1476299451,16cyclictest3844-21latency_hist20:10:172
14763994320,13cyclictest462550wget23:10:293
1476299424,8cyclictest0-21swapper/221:30:302
14761994219,6cyclictest18330-21cat23:45:431
14761994212,5cyclictest22039-21idleruntime-cro21:00:171
29812400,2sleep30-21swapper/323:05:323
14763994017,13cyclictest20730-21fschecks_count20:55:353
307662390,3sleep130773-21latency00:20:371
14763993916,13cyclictest19276-21/usr/sbin/munin23:50:423
1476299391,18cyclictest0-21swapper/222:35:402
1476299391,18cyclictest0-21swapper/222:35:402
1476199392,19cyclictest0-21swapper/120:55:171
14761993914,5cyclictest23322-21ps22:30:431
14763993818,4cyclictest23474-21seq21:00:473
14763993816,15cyclictest6170-21latency_hist21:45:183
1476299387,14cyclictest7750irq/56-dwc_otg21:45:172
1476299381,25cyclictest0-21swapper/221:10:292
1476299381,24cyclictest0-21swapper/200:00:312
1476299381,24cyclictest0-21swapper/200:00:312
1476299381,21cyclictest0-21swapper/220:00:262
14761993814,5cyclictest6100-21latency_hist21:45:181
1476399375,5cyclictest7750irq/56-dwc_otg00:10:353
1476299379,15cyclictest18277-21unixbench_singl22:15:472
1476199377,5cyclictest7950irq/56-dwc_otg_23:35:461
1476199374,5cyclictest7850irq/56-dwc_otg_21:35:361
1476199372,4cyclictest7850irq/56-dwc_otg_19:30:411
14761993712,5cyclictest14982-21cpuspeed19:10:311
1476399361,24cyclictest9216-21ls23:20:433
1476299365,20cyclictest10149-21ls20:25:382
1476299365,20cyclictest10149-21ls20:25:382
1476299361,26cyclictest0-21swapper/220:45:282
1476299361,22cyclictest0-21swapper/221:25:382
1476299361,22cyclictest0-21swapper/219:55:302
1476299361,22cyclictest0-21swapper/219:55:302
1476199362,7cyclictest1185-21df_inode23:00:321
1476199362,6cyclictest3453-21awk23:05:401
1476199361,7cyclictest24091-21uniq19:35:341
14761993617,9cyclictest392-21/usr/sbin/munin00:25:431
1476199361,6cyclictest0-21swapper/122:20:281
14761993615,4cyclictest27468-21/usr/sbin/munin19:45:401
14761993612,5cyclictest10818-21wc23:25:391
1476299355,17cyclictest7850irq/56-dwc_otg_19:30:382
1476299351,25cyclictest0-21swapper/222:20:302
1476299351,24cyclictest0-21swapper/222:10:312
1476299351,24cyclictest0-21swapper/200:21:332
1476299351,23cyclictest27066-21ls22:40:432
1476299351,16cyclictest25657-21/usr/sbin/munin19:40:372
1476299351,16cyclictest0-21swapper/220:22:122
1476199355,5cyclictest7850irq/56-dwc_otg_20:20:411
1476199355,5cyclictest0-21swapper/100:05:241
1476199354,4cyclictest15928-21fschecks_count23:40:341
1476199353,4cyclictest13045-21timerwakeupswit23:30:451
1476199352,3cyclictest0-21swapper/122:35:371
1476199352,3cyclictest0-21swapper/122:35:371
1476199351,6cyclictest5633-21cron20:15:171
1476199351,5cyclictest1491-21runrttasks21:30:381
1476399341,25cyclictest11252-21ls20:30:183
1476399341,25cyclictest11252-21ls20:30:183
1476299342,22cyclictest22053-21ls23:55:452
1476299341,23cyclictest15216-21cpuspeed20:40:332
1476299341,16cyclictest0-21swapper/222:32:542
1476299341,14cyclictest20093-21rt-features23:50:412
1476299341,14cyclictest15613-21sensors19:10:422
14762993410,7cyclictest0-21swapper/221:25:182
1476199348,4cyclictest20765-21chrt22:25:291
1476199346,4cyclictest7950irq/56-dwc_otg_00:16:331
1476199346,14cyclictest7850irq/56-dwc_otg_20:00:411
1476199345,4cyclictest7750irq/56-dwc_otg21:51:561
1476199343,4cyclictest1125-21runrttasks20:41:341
1476199342,5cyclictest0-21swapper/120:20:131
1476399339,6cyclictest7850irq/56-dwc_otg_21:50:433
1476399331,24cyclictest0-21swapper/323:43:183
14763993310,5cyclictest1854150wget19:20:323
1476299338,5cyclictest7950irq/56-dwc_otg_23:00:332
1476299336,18cyclictest2900-21grep21:35:352
1476299335,20cyclictest14826-21ls23:35:442
1476299334,20cyclictest0-21swapper/222:10:172
14762993314,12cyclictest18867-21awk20:50:322
1476299331,22cyclictest0-21swapper/221:20:182
1476299331,13cyclictest20531-21aten_rbpower_en20:55:322
1476299331,13cyclictest0-21swapper/223:17:392
1476299331,13cyclictest0-21swapper/223:17:392
1476199333,4cyclictest7750irq/56-dwc_otg22:56:481
1476199332,7cyclictest0-21swapper/122:06:041
1476199332,5cyclictest7950irq/56-dwc_otg_21:15:461
1476199332,4cyclictest14428-21vmstat20:35:481
1476199331,5cyclictest10608-21ls20:25:451
1476199331,5cyclictest10608-21ls20:25:451
14761993313,5cyclictest31378-21ls22:55:171
14761993312,4cyclictest26818-21cpuspeed00:10:311
14761993310,9cyclictest31347-21cat21:25:181
14761993310,5cyclictest16985-21latency_hist22:15:171
14763993217,9cyclictest29705-21aten_rbpower_po21:20:313
14763993213,5cyclictest21692-21missed_timers23:55:393
1476399321,25cyclictest12022-21cut22:00:353
14763993212,11cyclictest381ktimersoftd/323:00:333
1476299327,10cyclictest26950-21fschecks_time00:10:342
1476299326,16cyclictest5998-21kworker/2:021:47:142
1476299326,16cyclictest5998-21kworker/2:021:47:142
1476299325,14cyclictest9448-21unixbench_multi23:20:452
1476299324,19cyclictest7850irq/56-dwc_otg_22:00:432
1476299321,23cyclictest0-21swapper/223:14:322
1476299321,22cyclictest0-21swapper/220:35:322
1476299321,19cyclictest7576-21ls20:20:172
1476299321,19cyclictest0-21swapper/200:28:542
1476299321,15cyclictest0-21swapper/222:45:362
1476299321,13cyclictest0-21swapper/223:25:412
1476199326,10cyclictest7950irq/56-dwc_otg_23:50:441
1476199322,2cyclictest0-21swapper/100:40:181
1476199321,6cyclictest7086-21grep23:15:401
1476199321,6cyclictest7086-21grep23:15:401
14761993216,7cyclictest7950irq/56-dwc_otg_20:30:401
1476199321,5cyclictest31096-21acpi19:55:281
1476199321,5cyclictest31096-21acpi19:55:281
1476199321,4cyclictest27987-21/usr/sbin/munin22:45:441
229972310,2sleep10-21swapper/121:00:401
1476399317,5cyclictest25008-21missed_timers22:35:413
1476399317,5cyclictest25008-21missed_timers22:35:413
1476399317,11cyclictest7950irq/56-dwc_otg_23:15:413
1476399317,11cyclictest7950irq/56-dwc_otg_23:15:413
1476399316,5cyclictest7750irq/56-dwc_otg22:20:453
1476399312,5cyclictest7750irq/56-dwc_otg00:30:463
14763993114,5cyclictest13852-21/usr/sbin/munin23:35:423
14763993113,7cyclictest29403-21latency_hist21:20:173
1476399311,19cyclictest0-21swapper/322:41:353
1476399311,18cyclictest0-21swapper/320:35:243
1476299317,11cyclictest18227-21proc_pri23:45:422
1476299316,5cyclictest7950irq/56-dwc_otg_00:15:302
1476299315,13cyclictest7850irq/56-dwc_otg_00:35:332
1476299312,19cyclictest12749-21ntp_states23:30:412
1476299312,14cyclictest31-21ksoftirqd/223:05:412
1476299311,21cyclictest0-21swapper/221:01:532
1476299311,21cyclictest0-21swapper/219:54:422
1476299311,16cyclictest0-21swapper/219:16:472
1476299311,13cyclictest31685-21aten_rbpower_po22:55:292
1476299311,13cyclictest2277-21switchtime00:30:442
1476199319,5cyclictest5315-21/usr/sbin/munin23:10:401
1476199316,4cyclictest7850irq/56-dwc_otg_22:15:401
1476199315,4cyclictest7750irq/56-dwc_otg20:05:471
1476199314,5cyclictest7850irq/56-dwc_otg_20:50:171
1476199314,4cyclictest7850irq/56-dwc_otg_23:55:361
1476199314,4cyclictest7850irq/56-dwc_otg_19:40:401
14761993125,4cyclictest30861-21sh19:55:171
1476199312,4cyclictest7750irq/56-dwc_otg21:45:321
1476199312,4cyclictest7750irq/56-dwc_otg21:45:321
1476199312,4cyclictest0-21swapper/119:25:351
1476199311,6cyclictest2350-21grep00:30:451
14761993114,4cyclictest0-21swapper/123:20:281
1476399308,4cyclictest7950irq/56-dwc_otg_21:26:163
1476399303,7cyclictest7950irq/56-dwc_otg_22:25:463
14763993023,5cyclictest25053-21sort00:05:343
14763993023,4cyclictest9510-21latency_hist20:25:183
14763993011,5cyclictest37-21rcuc/321:45:353
14763993011,5cyclictest37-21rcuc/321:45:353
1476299307,6cyclictest7950irq/56-dwc_otg_20:10:402
1476299305,16cyclictest0-21swapper/219:45:412
1476299304,11cyclictest7950irq/56-dwc_otg_21:50:422
1476199305,3cyclictest7750irq/56-dwc_otg19:15:541
1476199304,7cyclictest0-21swapper/122:40:391
1476199303,3cyclictest7950irq/56-dwc_otg_21:55:351
1476199301,5cyclictest0-21swapper/119:20:521
1476199301,4cyclictest13271-21latency_hist22:05:171
10692301,2sleep30-21swapper/321:30:343
1476399297,11cyclictest7850irq/56-dwc_otg_20:40:423
1476399296,10cyclictest7950irq/56-dwc_otg_20:50:173
14763992922,5cyclictest16890-21munin-plugin-st22:15:173
1476399291,4cyclictest7950irq/56-dwc_otg_23:25:453
1476399291,18cyclictest0-21swapper/300:30:183
1476399291,17cyclictest27829-21ls19:45:343
14763992911,4cyclictest26783-21sed21:10:413
1476299295,12cyclictest7950irq/56-dwc_otg_20:30:392
1476299292,10cyclictest0-21swapper/219:20:382
1476299291,13cyclictest24617-21latency21:05:362
1476199292,4cyclictest7750irq/56-dwc_otg00:00:321
1476199292,4cyclictest7750irq/56-dwc_otg00:00:321
1476399287,12cyclictest7850irq/56-dwc_otg_20:50:343
1476399285,5cyclictest22724-21tr19:30:393
14763992820,6cyclictest24077-21/usr/sbin/munin21:05:273
14763992820,5cyclictest17168-21basename22:15:323
14763992818,8cyclictest3555-21fschecks_time00:35:343
1476399281,7cyclictest17468-21/usr/sbin/munin23:45:423
1476399281,6cyclictest23463-21chrt00:00:393
1476399281,6cyclictest23463-21chrt00:00:393
1476399281,6cyclictest12080-21/usr/sbin/munin20:30:393
1476399281,6cyclictest1124-21snmpd22:57:093
1476399281,5cyclictest7950irq/56-dwc_otg_19:25:303
1476399281,4cyclictest15936-21grep19:10:453
1476399281,4cyclictest0-21swapper/319:40:443
1476399281,14cyclictest30007-21latency_hist00:20:183
1476299281,4cyclictest0-21swapper/219:35:282
1476199283,4cyclictest0-21swapper/121:10:401
145602280,2sleep30-21swapper/319:10:173
145602280,2sleep30-21swapper/319:10:173
139962285,13sleep114120-21/usr/sbin/munin19:05:461
139962285,13sleep114120-21/usr/sbin/munin19:05:461
1476399279,9cyclictest29909-21sed19:50:383
1476399277,12cyclictest0-21swapper/319:15:453
1476399274,4cyclictest7850irq/56-dwc_otg_22:45:393
1476399274,11cyclictest7850irq/56-dwc_otg_20:08:023
1476399273,5cyclictest7850irq/56-dwc_otg_21:35:353
1476399273,5cyclictest7850irq/56-dwc_otg_20:10:413
1476399272,12cyclictest7850irq/56-dwc_otg_19:55:453
1476399272,12cyclictest7850irq/56-dwc_otg_19:55:453
14763992719,5cyclictest1165-21ntp_states20:00:413
14763992715,4cyclictest1125-21runrttasks20:18:523
1476399271,3cyclictest7950irq/56-dwc_otg_22:50:373
1476399271,10cyclictest7950irq/56-dwc_otg_19:37:013
1476399267,9cyclictest7950irq/56-dwc_otg_23:30:433
1476399263,5cyclictest7950irq/56-dwc_otg_22:30:463
1476399261,6cyclictest7950irq/56-dwc_otg_00:20:313
1476399261,5cyclictest10213-21fschecks_time21:55:333
1476199262,13cyclictest0-21swapper/121:26:451
1476399246,9cyclictest7750irq/56-dwc_otg22:05:373
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional