You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-02-29 - 09:03

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #c, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rackcslot4s.osadl.org (updated Thu Feb 29, 2024 00:44:20)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1072999440,27cyclictest19637-21/usr/sbin/munin21:10:330
1072999411,22cyclictest11134-21gltestperf19:10:240
1072999391,22cyclictest7109-21fschecks_time23:50:230
10729993910,17cyclictest1665-21timerwakeupswit20:15:330
1072999380,25cyclictest0-21swapper/021:55:210
1072999370,22cyclictest9677-21unixbench_multi23:55:330
10729993513,20cyclictest2939-21snmp_o5powerctl23:35:350
1072999342,15cyclictest25753-21lsb_release19:55:010
1072999341,18cyclictest6180-21grep20:30:240
10729993411,21cyclictest27070-21entropy21:35:250
10729993310,20cyclictest31719-21ls20:10:220
1072999330,6cyclictest2905-21/usr/sbin/munin20:20:250
1072999328,21cyclictest18159-21tune2fs19:30:220
1072999322,23cyclictest3575-21apt-get23:40:220
1072999320,29cyclictest748-21avahi-daemon23:15:290
1074299311,10cyclictest2405-21python322:00:013
1072999319,19cyclictest9723-21cat20:40:270
1072999319,19cyclictest4273-21cut20:25:290
1072999318,20cyclictest22745-21cron23:00:000
10729993115,14cyclictest5291-21cstates23:45:220
1072999311,26cyclictest16772-21apt-key00:20:010
1072999310,16cyclictest0-21swapper/000:30:420
1072999309,18cyclictest24408-21basename23:05:010
1072999305,22cyclictest23503-21sed00:35:450
10729993013,15cyclictest25037-21latency_hist21:30:000
1072999301,26cyclictest21853-21latency_hist21:20:010
1072999301,25cyclictest8893-21cat20:40:010
1072999301,23cyclictest0-21swapper/020:05:090
1072999301,22cyclictest0-21swapper/000:05:180
1072999300,6cyclictest31897-21cstates21:50:200
1072999300,2cyclictest15654-21/usr/sbin/munin19:20:330
1072999300,2cyclictest15654-21/usr/sbin/munin19:20:320
1072999300,26cyclictest262281watchprog-snmpd23:10:120
1072999297,20cyclictest23498-21open_files19:45:320
1072999292,19cyclictest14207-21apt-get22:35:170
1072999291,9cyclictest30315-21diskstats21:45:220
1072999291,24cyclictest1995-21watchprog-snmpd20:00:360
1072999291,23cyclictest30913-21latency_hist23:25:000
1072999291,22cyclictest3061-21apt-get22:00:210
1072999291,22cyclictest3061-21apt-get22:00:200
1072999290,3cyclictest24674-21wc23:05:210
1072999290,2cyclictest6201-21cut22:10:010
1072999290,2cyclictest20878-21munin-run19:40:000
1072999290,25cyclictest13291-21cut20:50:340
1072999290,1cyclictest0-21swapper/019:15:000
1072999288,17cyclictest29143-21grep21:40:250
1072999287,19cyclictest10247-21/usr/sbin/munin00:00:250
1072999286,20cyclictest26076-21cut21:30:380
1072999282,20cyclictest25962-21apt-get19:55:190
1072999281,9cyclictest497-21/usr/sbin/munin23:30:250
1072999281,24cyclictest14446-21sed22:35:000
10729992812,14cyclictest22032-21/usr/sbin/munin21:20:200
10729992811,14cyclictest10441-21proc_pri22:20:280
1072999280,3cyclictest17643-21latency_hist19:30:000
1072999280,2cyclictest31292-21diskstats23:25:240
1072999280,2cyclictest20752-21snmp_o5powerctl22:50:360
1072999280,2cyclictest20752-21snmp_o5powerctl22:50:360
1072999280,23cyclictest0-21swapper/022:45:180
1072999280,1cyclictest0-21swapper/022:40:250
1072999280,1cyclictest0-21swapper/020:55:290
1072999276,19cyclictest16927-21cron21:05:000
1072999271,9cyclictest7034-21ntp_offset22:10:260
1072999271,8cyclictest18439-21/usr/sbin/munin21:05:370
1072999271,8cyclictest14907-21/usr/sbin/munin00:15:390
1072999270,8cyclictest19128-21/usr/sbin/munin00:25:230
1072999270,1cyclictest0-21swapper/022:15:280
1072999270,1cyclictest0-21swapper/020:45:330
1074299260,23cyclictest4976-21lsb_release23:45:003
1072999261,8cyclictest13588-21perl00:10:270
1072999260,8cyclictest11958-21/usr/sbin/munin22:25:300
1074299252,21cyclictest25719-21cron19:55:003
1073999255,6cyclictest241rcuc/223:25:012
10739992515,6cyclictest3392-21sed23:40:002
1072999250,7cyclictest21325-21forks19:40:230
1073999234,12cyclictest1993-21snmpd00:10:242
1073999232,7cyclictest25-21ksoftirqd/221:40:192
1073999231,8cyclictest25-21ksoftirqd/219:54:362
1072999232,18cyclictest0-21swapper/019:10:000
10742992217,3cyclictest13078-21lsb_release00:10:003
10742992214,6cyclictest6184-21snmp_o5powerctl23:45:353
10742992214,6cyclictest18523-21grep22:45:233
1074299221,18cyclictest5183-21python320:30:013
1074299220,19cyclictest18588-21apt-key00:25:013
1073999222,8cyclictest25-21ksoftirqd/219:25:002
1073999222,8cyclictest25-21ksoftirqd/219:25:002
1073999222,7cyclictest25-21ksoftirqd/223:51:422
1073999221,7cyclictest25-21ksoftirqd/222:50:232
1073999221,7cyclictest25-21ksoftirqd/222:50:232
10739992215,5cyclictest15713-21ls22:35:272
1073999220,8cyclictest25-21ksoftirqd/220:20:062
1073999220,8cyclictest25-21ksoftirqd/219:41:352
1073999220,7cyclictest25-21ksoftirqd/223:30:342
1073999220,7cyclictest25-21ksoftirqd/219:25:352
1073999220,5cyclictest24410-21lsb_release23:05:002
10734992214,6cyclictest17132-21memory22:40:291
10734992214,6cyclictest12486-21awk19:15:001
1074299216,13cyclictest7268-21latency_hist20:35:013
10742992116,3cyclictest17932-21lsb_release22:44:593
10742992115,4cyclictest17044-21cat21:05:003
10742992115,3cyclictest26640-21sh21:35:013
1074299211,3cyclictest12386-21munin-node19:15:003
10742992113,6cyclictest21688-21perl22:55:243
1074299210,5cyclictest8848-21idleruntime-cro20:40:013
1074299210,3cyclictest26019-21lsb_release23:10:003
1074299210,19cyclictest14689-21munin-run00:15:003
1074299210,18cyclictest3047-40apt-check22:00:113
1074299210,18cyclictest3047-40apt-check22:00:113
1073999213,6cyclictest25-21ksoftirqd/200:25:332
1073999212,7cyclictest25-21ksoftirqd/222:06:332
1073999212,7cyclictest25-21ksoftirqd/220:00:332
1073999212,6cyclictest25-21ksoftirqd/223:15:002
1073999212,6cyclictest25-21ksoftirqd/200:37:162
1073999212,6cyclictest25-21ksoftirqd/200:05:192
1073999212,5cyclictest25-21ksoftirqd/219:45:262
1073999212,4cyclictest25-21ksoftirqd/223:15:302
1073999212,13cyclictest19486-21apt-get19:35:252
1073999211,8cyclictest25-21ksoftirqd/219:30:312
10739992113,6cyclictest18267-21cat21:05:362
1073999210,8cyclictest25-21ksoftirqd/222:30:342
1073999210,7cyclictest25-21ksoftirqd/220:30:362
1073999210,6cyclictest25-21ksoftirqd/221:45:342
1073999210,6cyclictest25-21ksoftirqd/221:15:342
10734992114,5cyclictest26871-21ls23:10:311
10734992114,5cyclictest18265-21expr22:45:221
10734992113,6cyclictest7802-21cut22:15:011
10734992113,6cyclictest29965-21cat23:20:251
10734992113,6cyclictest28192-21users21:35:381
10734992113,6cyclictest11225-21sed19:10:241
1073499211,14cyclictest20690-21apt-get00:30:281
1074299203,15cyclictest16301-21awk22:39:593
1074299202,16cyclictest0-21swapper/320:05:003
1074299201,9cyclictest15908-21snmp_o5powerctl00:15:353
10742992016,3cyclictest31664-21expr20:10:213
10742992016,2cyclictest12088-21munin-run20:50:003
10742992015,3cyclictest8940-21snmp_o5powerctl22:15:323
10742992015,3cyclictest20074-21snmp_o5powerctl00:25:383
10742992014,4cyclictest14669-21ntpq20:55:313
10742992014,4cyclictest12793-21cat20:50:263
10742992013,5cyclictest32684-21grep21:50:293
10742992013,5cyclictest27972-21expr23:15:203
10742992013,5cyclictest21954-21awk19:40:293
10742992013,5cyclictest20530-21expr21:15:213
10742992013,5cyclictest18248-21expr19:30:223
10742992013,5cyclictest15256-21ls19:20:263
10742992013,5cyclictest15256-21ls19:20:263
10742992011,6cyclictest26842-21expr23:10:303
1074299201,16cyclictest23718-21dpkg00:39:593
1074299201,14cyclictest29670-21apt-get20:05:223
1074299200,2cyclictest9821-21plymouth00:00:003
1073999202,6cyclictest25-21ksoftirqd/222:10:372
1073999202,6cyclictest25-21ksoftirqd/220:05:292
10739992015,3cyclictest9340-21idleruntime-cro22:20:012
10739992012,6cyclictest4609-21sed23:40:362
10739992012,6cyclictest11181-21cat00:00:402
1073999201,13cyclictest18784-21apt-get21:10:242
1073999200,7cyclictest25-21ksoftirqd/222:00:092
1073999200,7cyclictest25-21ksoftirqd/222:00:082
1073999200,7cyclictest25-21ksoftirqd/220:54:072
1073999200,7cyclictest25-21ksoftirqd/219:58:062
1073999200,7cyclictest25-21ksoftirqd/200:30:292
1073999200,6cyclictest25-21ksoftirqd/221:00:262
10734992015,2cyclictest19266-21if_err_enp2s021:10:281
10734992013,5cyclictest4464-21lsb_release22:05:001
10734992013,5cyclictest4464-21lsb_release22:05:001
10734992013,5cyclictest24790-21expr23:05:211
10734992013,4cyclictest14301-21latency_hist22:35:001
10734992012,6cyclictest22438-21users19:40:341
10734992012,6cyclictest19554-21wc19:35:251
10734992012,6cyclictest15496-21memory22:35:241
10734992012,5cyclictest23686-21grep23:00:291
10734992011,6cyclictest26721-21ntpq19:55:271
10742991915,2cyclictest17658-21lsb_release19:30:003
1074299191,2cyclictest30881-21perf23:25:003
10742991912,5cyclictest31631-21cut21:49:593
10742991912,5cyclictest29089-21cat21:40:233
10742991912,5cyclictest19627-21expr19:35:253
10742991912,4cyclictest2045-21seq23:35:193
10742991911,6cyclictest22648-21ls21:20:243
10742991911,5cyclictest9648-21sort22:20:213
10742991911,5cyclictest27315-21basename21:35:273
1074299191,14cyclictest13825-21snmp_o5powerctl22:30:363
1074299191,13cyclictest11212-21apt-get22:25:213
1073999191,5cyclictest25-21ksoftirqd/223:45:372
10739991915,3cyclictest241rcuc/223:55:332
10739991915,2cyclictest16357-21latency_hist00:20:002
10739991913,3cyclictest10988-21latency_hist22:25:002
10739991912,5cyclictest575-21expr20:15:192
1073999191,13cyclictest31732-21apt-get21:50:202
1073999191,13cyclictest22035-21apt-get21:20:182
1073999191,13cyclictest13922-21apt-get20:55:242
1073999191,12cyclictest24619-21apt-get23:05:202
1073999191,12cyclictest21369-21apt-get22:55:192
10739991910,6cyclictest5251-21wc20:30:012
1073999190,7cyclictest25-21ksoftirqd/219:10:242
1073999190,6cyclictest25-21ksoftirqd/222:40:402
1073999190,6cyclictest25-21ksoftirqd/221:55:332
1073999190,6cyclictest25-21ksoftirqd/221:30:232
1073999190,6cyclictest25-21ksoftirqd/220:35:322
1073999190,6cyclictest25-21ksoftirqd/219:15:302
1073999190,5cyclictest25-21ksoftirqd/220:10:342
1073499192,12cyclictest16856-40apt-check00:20:091
10734991915,2cyclictest7581-21open_files23:50:281
10734991915,2cyclictest14787-21processes20:55:321
10734991914,3cyclictest6143-21sendmail_mailtr23:45:341
10734991914,3cyclictest15769-21fschecks_count21:00:251
10734991913,4cyclictest31875-21load20:10:231
10734991912,5cyclictest13359-21ls20:50:371
10734991911,6cyclictest8551-21memory22:15:281
10734991911,6cyclictest22766-21ntp_kernel_pll_21:20:251
10734991911,6cyclictest21076-21users22:50:401
10734991911,6cyclictest21076-21users22:50:391
10734991911,5cyclictest29255-21ntpq21:40:301
10734991911,5cyclictest25272-21expr19:50:271
1073499191,13cyclictest11678-21apt-get00:05:191
1074299189,6cyclictest32467-21cron23:30:003
10742991814,2cyclictest6952-21needreboot22:10:243
10742991814,2cyclictest5278-21missed_timers22:05:253
10742991814,2cyclictest24843-21unixbench-2d21:25:343
10742991811,5cyclictest26085-21expr19:55:213
10742991811,5cyclictest23180-21basename19:45:273
10742991811,5cyclictest18440-21unixbench_singl21:05:373
1074299181,12cyclictest6804-21apt-get23:50:203
1074299180,4cyclictest10456-21perf20:45:003
1074299180,16cyclictest24395-21latency_hist23:05:003
1074299180,16cyclictest1709-21munin-run23:34:593
1074299180,16cyclictest0-21swapper/322:55:013
1074299180,16cyclictest0-21swapper/322:55:003
1073999181,12cyclictest27865-21snmp_o5powerctl21:35:342
1073999181,12cyclictest23648-21apt-get21:25:192
1073999181,12cyclictest10691-21apt-get20:45:212
1073999180,7cyclictest25-21ksoftirqd/222:28:482
1073999180,4cyclictest16856-40apt-check00:20:022
10734991815,2cyclictest9269-21df_inode20:40:231
10734991814,2cyclictest4291-21netstat23:40:301
10734991814,2cyclictest30173-21kernelversion20:05:261
10734991814,2cyclictest16305-21cpu19:25:211
10734991813,3cyclictest2123-21sh23:35:201
10734991812,4cyclictest752-21if_err_enp2s023:30:271
10734991812,4cyclictest17487-21tune2fs21:05:261
10734991812,4cyclictest11908-21grep20:45:351
10734991811,5cyclictest27697-21cat20:00:261
10734991811,5cyclictest15933-21ls00:15:361
10734991811,5cyclictest1497-21snmp_o5powerctl20:15:301
10734991811,5cyclictest10763-21date19:10:011
10734991811,5cyclictest10317-21grep00:00:271
1073499181,12cyclictest9589-21apt-get22:20:211
10734991810,5cyclictest11507-21perl22:25:231
1073499180,16cyclictest8193-21ntp_states20:35:261
10742991712,3cyclictest20007-21unixbench_multi21:10:373
1074299171,12cyclictest12478-21snmp_o5powerctl19:15:013
10742991710,5cyclictest20835-21expr00:30:293
1074299170,15cyclictest0-21swapper/320:20:003
10739991711,4cyclictest10256-21sed20:40:342
1073999171,13cyclictest18906-21ntp_states22:45:302
1073999170,3cyclictest0-21swapper/223:25:052
1073499173,9cyclictest17871-21apt-get19:30:191
10734991713,2cyclictest6896-21threads20:30:331
10734991713,2cyclictest4904-21timerwakeupswit20:25:371
10734991713,2cyclictest21176-21open_files21:15:301
10734991711,4cyclictest851-21wc21:55:011
10734991711,4cyclictest19828-21cat00:25:301
1073499171,13cyclictest23733-21snmp_o5powerctl19:45:361
10734991711,3cyclictest15375-21ntp_kernel_pll_19:20:271
10734991711,3cyclictest15375-21ntp_kernel_pll_19:20:271
1073499171,12cyclictest4673-21apt-get22:05:201
10734991710,5cyclictest9396-21grep23:55:291
10734991710,5cyclictest31834-21ntp_kernel_pll_23:25:291
10734991710,5cyclictest31144-21cat21:45:341
10734991710,5cyclictest2603-21basename20:20:211
10734991710,4cyclictest25586-21grep21:30:271
1073499170,15cyclictest0-21swapper/122:55:251
1074299169,5cyclictest2202-21ls20:20:173
1074299169,5cyclictest10169-21expr00:00:253
1073499169,5cyclictest23749-21cat21:25:201
10734991613,2cyclictest938-21/usr/sbin/munin21:55:251
10734991610,4cyclictest27992-21ls23:15:211
10734991610,4cyclictest22634-21grep00:35:241
10734991610,4cyclictest14356-21cat00:10:381
10742991513,1cyclictest0-21swapper/319:10:003
1073999147,5cyclictest10767-21wc19:10:002
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional